Qwen2.5 模型基於阿里巴巴最新的大規模數據集進行預訓練,數據集包含多達 18 兆個 tokens。該模型最多支持 128K 個 tokens,並具有多語言支持。

工具 0.5b 1.5b 3b 7b 14b 32b 72b

3.6M 4 個月前

說明文件

Qwen2.5 是最新的 Qwen 大型語言模型系列。對於 Qwen2.5,發布了一系列基礎語言模型和指令微調模型,模型大小從 0.5 億到 720 億參數不等。Qwen2.5 相較於 Qwen2 引入了以下改進

  • 由於這些領域的專業模型,它擁有**顯著更多的知識**,並且在**編碼**和**數學**方面的能力大大增強。
  • 它在**指令遵循**、**長文本生成**(超過 8K tokens)、**理解結構化數據**(例如,表格)和**生成結構化輸出**方面取得了顯著進展,尤其是在 JSON 格式方面。它也**更能適應多樣化的系統提示**,從而改善了聊天機器人的角色扮演和條件設定。
  • 它支持高達 128K tokens 的**長上下文**,並且可以生成高達 8K tokens。
  • 它為超過 29 種語言提供**多語言支持**,包括中文、英文、法文、西班牙文、葡萄牙文、德文、義大利文、俄文、日文、韓文、越南文、泰文、阿拉伯文等等。

請注意:除了 3B 和 72B 模型之外的所有模型均以 Apache 2.0 許可證發布,而 3B 和 72B 模型則以 Qwen 許可證發布。

參考文獻

GitHub

部落格文章

HuggingFace