Orca Mini 是一個基於 Llama 和 Llama 2 模型，使用 Orca 風格資料集訓練的模型，這些資料集是根據論文《Orca：從 GPT-4 複雜解釋追蹤中進行漸進式學習》中定義的方法創建的。 有兩個版本可供選擇。原始的 Orca Mini 基於 Llama，有 30 億、70 億和 130 億參數尺寸，以及基於 Llama 2 的 v3 版本，有 70 億、130 億和 700 億參數尺寸。

用法

CLI

開啟終端機並執行 ollama run orca-mini

API

範例

  curl -X POST http://localhost:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

記憶體需求

• 7b 模型通常至少需要 8GB 的 RAM
• 13b 模型通常至少需要 16GB 的 RAM
• 70b 模型通常至少需要 64GB 的 RAM

參考資料

3b 參數原始來源: Pankaj Mathur

7b 參數原始來源: Pankaj Mathur

13b 參數原始來源: Pankaj Mathur

Orca Mini v3 來源於 Ollama

13b 參數原始來源: Pankaj Mathur

70b 參數來源: Pankaj Mathur

Orca：從 GPT-4 複雜解釋追蹤中進行漸進式學習