llama2-chinese

基於 Llama 2 的模型，經過微調以提升中文對話能力。

7b 13b

14.6萬 15 個月前

35 個標籤

說明文件

Llama 2 對話中文微調參數模型

這個模型是基於 Meta Platform, Inc. 所發布的 Llama 2 Chat 開源模型來進行微調。根據Meta，Llama 2 的訓練資料達到了兩萬億個token，上下文長度也提升到4096。對話上也是使用100萬人類標記的資料微調。

由於 Llama 2 本身的中文對齊比較弱，開發者採用了中文指令集來進行微調，使其具備較強的中文對話能力。目前這個中文微調參數模型總共發布了 7B，13B兩種參數大小。

Llama 2 中文對話微調模型

這個模型是基於 Meta Platform 的 Llama 2 Chat 開源模型進行微調。根據 Meta 的說法，Llama 2 使用兩兆個 tokens 進行訓練，並且上下文長度增加到 4096。對話模型是使用一百萬個人工標記的數據進行微調的。

由於 Llama 2 本身的中文對齊較弱，開發者採用了中文指令集進行微調，以提升中文對話能力。

中文微調模型有 7B 和 13B 兩種參數大小。

CLI

開啟終端機並執行 ollama run llama2-chinese

API

執行模型

curl -X POST https://127.0.0.1:11434/api/generate -d '{
  "model": "llama2-chinese:7b-chat-q4_0",
  "prompt":"为什么天空是蓝色的"
 }'

記憶體需求

  • 7b 模型通常至少需要 8GB 的 RAM
  • 13b 模型通常至少需要 16GB 的 RAM

參考資料

FlagAlpha

FlagAlpha