Ollama 現在以官方 Docker 映像檔形式提供

我們很高興宣布 Ollama 現在以官方 Docker 贊助的開放原始碼映像檔形式提供，讓您能更輕鬆地使用 Docker 容器啟動並執行大型語言模型。

透過 Ollama，您與大型語言模型的所有互動都在本地進行，無需將私人資料傳送給第三方服務。

在 Mac 上

Ollama 處理以 GPU 加速方式執行模型。它提供簡單的 CLI 以及 REST API，以便與您的應用程式互動。

若要開始使用，只需下載並安裝 Ollama。

在 Mac 上，請將 Ollama 作為獨立應用程式在 Docker 容器外執行，因為 Docker Desktop 不支援 GPU。

在 Linux 上

Ollama 可以在 Docker 容器內以 GPU 加速方式執行，以支援 Nvidia GPU。

若要開始使用 Docker 映像檔，請使用以下指令。

僅限 CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

1. 安裝 Nvidia container toolkit。
2. 在 Docker 容器內執行 Ollama

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

執行模型

現在您可以在容器內執行像 Llama 2 這樣的模型。

docker exec -it ollama ollama run llama2

更多模型可以在 Ollama 模型庫中找到。

加入 Ollama 的 Discord，與其他社群成員、維護者和貢獻者交流。

在 Twitter 上追蹤 Ollama 以獲取最新資訊。