Windows 預覽

2024年2月15日

Ollama windows

Ollama 現已於 Windows 上推出預覽版，讓您可以在全新的原生 Windows 環境中提取、執行和建立大型語言模型。Windows 版 Ollama 包含內建 GPU 加速功能、存取完整的模型庫，以及包含 OpenAI 相容性的 Ollama API。

硬體加速

Ollama 使用 NVIDIA GPU 以及現代 CPU 指令集（如 AVX 和 AVX2，如果可用）來加速執行模型。無需設定或虛擬化！

完整存取模型庫

完整的 Ollama 模型庫可在 Windows 上執行，包括 視覺模型。當執行視覺模型（如 LLaVA 1.6）時，可以將圖像拖放到 ollama run 中，以將其新增至訊息。

常時啟用的 Ollama API

Ollama 的 API 會自動在背景執行，並在 https://127.0.0.1:11434 上提供服務。工具和應用程式無需任何額外設定即可連接到它。

ollama background

例如，以下是如何使用 PowerShell 呼叫 Ollama 的 API

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri https://127.0.0.1:11434/api/generate ).Content | ConvertFrom-json

Windows 版 Ollama 也支援與其他平台相同的 OpenAI 相容性，讓您可以使用為 OpenAI 建置的現有工具，透過 Ollama 與本機模型搭配使用。

開始使用

開始使用 Windows 版 Ollama 預覽版

  • 下載 Windows 版 Ollama
  • 雙擊安裝程式 OllamaSetup.exe
  • 安裝完成後，開啟您慣用的終端機，並執行 ollama run llama2 以執行模型。

當有新版本可用時，Ollama 會提示您更新。我們很樂意收到您的意見回饋！如果您遇到任何問題，請透過開啟 issue 或加入 Discord 伺服器告知我們。