Windows 預覽版

2024年2月15日

Ollama windows

Ollama 現已推出 Windows 預覽版，讓您可以在全新的原生 Windows 體驗中提取、執行和建立大型語言模型。Windows 版 Ollama 包含內建 GPU 加速、存取完整的模型庫以及 Ollama API，包括 OpenAI 相容性。

硬體加速

Ollama 使用 NVIDIA GPU 以及現代 CPU 指令集（例如 AVX 和 AVX2，如果可用）加速執行模型。無需任何設定或虛擬化！

完全存取模型庫

完整的 Ollama 模型庫可在 Windows 上執行，包括視覺模型。執行視覺模型（例如 LLaVA 1.6）時，可以將圖像拖放到 ollama run 中，以將其添加到訊息中。

永遠開啟的 Ollama API

Ollama 的 API 會在背景自動執行，並在 https://127.0.0.1:11434 上提供服務。工具和應用程式無需任何額外設定即可連接到它。

ollama background

例如，以下是如何使用 PowerShell 叫用 Ollama 的 API

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri https://127.0.0.1:11434/api/generate ).Content | ConvertFrom-json

Windows 版 Ollama 也支援與其他平台相同的 OpenAI 相容性，因此可以使用為 OpenAI 建立的現有工具，透過 Ollama 使用本機模型。

開始使用

開始使用 Windows 版 Ollama 預覽版

  • 下載 Windows 版 Ollama
  • 雙擊安裝程式 OllamaSetup.exe
  • 安裝完成後，開啟您慣用的終端機並執行 ollama run llama2 以執行模型

Ollama 會在新版本可用時提示更新。我們很樂意收到您的意見回饋！如果您遇到任何問題，請透過建立 issue 或加入 Discord 伺服器告知我們。