Dolphin 2.9 是 Eric Hartford 基於 Llama 3 所開發的新模型,具有 8B 和 70B 兩種尺寸,並具備多樣化的指令、對話和編碼技能。

8b 70b

277.1K 8 個月前

Readme

🐬 Dolphin 2.9 Llama 3

Dolphin-2.9 具有多樣化的指令、對話和編碼技能。它也具備初步的代理能力並支援函數呼叫。

Dolphin 是未經審查的。資料集已過濾以移除對齊和偏見。這使得模型更具順從性。

由 Eric Hartford、Lucas Atkins 和 Fernando Fernandes 以及 Cognitive Computations 策劃和訓練。

尺寸

  • dolphin-llama3:8b
  • dolphin-llama3:70b

256K 上下文視窗

注意:使用 256k 上下文視窗至少需要 64GB 記憶體。

Dolphin Llama 3 也具有 256k 上下文視窗版本。若要擴展上下文視窗,請使用

API

curl https://127.0.0.1:11434/api/generate -d '{
  "model": "dolphin-llama3:8b-256k",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'

CLI

ollama run dolphin-llama3:8b-256k
>>> /set parameter num_ctx 256000

參考文獻

HuggingFace