此模型將 LLama-3 8B 的上下文長度從 8k 擴展到 > 1040K，由 Gradient 開發，並由 Crusoe Energy 提供運算資源贊助。它證明了 SOTA LLM 可以透過適當調整 RoPE theta，學習在長上下文中運作，且只需極少的訓練。我們在這個階段訓練了 8.3 億個 tokens，所有階段總共訓練了 14 億個 tokens，這不到 Llama-3 原始預訓練資料的 0.01%。

大型上下文視窗

注意：使用 256k 上下文視窗至少需要 64GB 的記憶體。使用 1M+ 上下文視窗則需要更多記憶體 (100GB+)。

若要擴展上下文視窗（例如擴展到 256k），請使用

_API

curl https://127.0.0.1:11434/api/generate -d '{
  "model": "llama3-gradient",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'

_CLI

ollama run llama3-gradient
>>> /set parameter num_ctx 256000

參考文獻

網站

Hugging Face