wizardlm

通用模型，基於 Llama 2。

75.8K 16 個月前

73 個標籤

說明文件

WizardLM 是一個基於 Llama 2，由 WizardLM 訓練的 70B 參數模型。

開始使用 WizardLM

以下範例中使用的模型是 WizardLM 模型，具有 700 億個參數，這是一個通用模型。

API

  1. 啟動 Ollama 伺服器 (執行 ollama serve)
  2. 執行模型
curl -X POST http://localhost:11434/api/generate -d '{
  "model": "wizardlm:70b-llama2-q4_0",
  "prompt":"Why is the sky blue?"
 }'

CLI

  1. 安裝 Ollama
  2. 開啟終端機並執行 ollama run wizardlm:70b-llama2-q4_0

注意：如果模型尚未下載，ollama run 命令會執行 ollama pull。 若要在不執行的情況下下載模型，請使用 ollama pull wizardlm:70b-llama2-q4_0

記憶體需求

  • 70b 模型通常至少需要 64GB 的 RAM

如果您在使用較高的量化等級時遇到問題，請嘗試使用 q4 模型或關閉任何其他佔用大量記憶體的程式。

模型變體

預設情況下，Ollama 使用 4 位元量化。 若要嘗試其他量化等級，請嘗試其他標籤。 q 後面的數字代表用於量化的位元數（即 q4 表示 4 位元量化）。 數字越高，模型越準確，但執行速度越慢，並且需要的記憶體越多。

模型來源

Ollama 上的 WizardLM 來源

70b 參數來源：The Bloke

70b 參數原始來源：WizardLM