qwen2.5

Qwen2.5 模型基於阿里巴巴最新的大規模數據集進行預訓練，數據集包含多達 18 兆個 tokens。此模型支援最多 128K 個 tokens，並具有多語言支援。

工具 0.5b 1.5b 3b 7b 14b 32b 72b

3.6M 4 個月前

133 標籤

說明文件

Qwen2.5 是 Qwen 大型語言模型的最新系列。Qwen2.5 發布了一系列基礎語言模型和指令微調模型，模型大小從 0.5 到 720 億參數不等。相較於 Qwen2，Qwen2.5 引入了以下改進：

  • 由於在這些領域採用了專業的專家模型，因此它擁有**顯著更多的知識**，並在**程式碼編寫**和**數學**方面具有極大增強的能力。
  • 它在**指令遵循**、**長文本生成**（超過 8K 個 tokens）、**理解結構化資料**（例如，表格）和**生成結構化輸出**（尤其是在 JSON 格式中）方面展現了顯著的進步。它也**更能適應多樣化的系統提示**，從而改善了聊天機器人的角色扮演和條件設定。
  • 它支援高達 128K 個 tokens 的**長上下文**，並且可以生成最多 8K 個 tokens。
  • 它為超過 29 種語言提供**多語言支援**，包括中文、英文、法文、西班牙文、葡萄牙文、德文、義大利文、俄文、日文、韓文、越南文、泰文、阿拉伯文等等。

請注意：除 3B 和 72B 模型外，所有模型均在 Apache 2.0 許可證下發布，而 3B 和 72B 模型則在 Qwen 許可證下發布。

參考文獻

GitHub

部落格文章

HuggingFace