Qwen 2 現已在此推出。

Qwen 是阿里巴巴雲推出的一系列基於 Transformer 的大型語言模型，基於大量資料進行預訓練，包括網路文本、書籍、程式碼等。

Qwen 1.5 的新功能

• 6 種模型尺寸，包括 0.5B、1.8B、4B (預設)、7B、14B、32B (新增) 和 72B
  • ollama run qwen:0.5b
  • ollama run qwen:1.8b
  • ollama run qwen:4b
  • ollama run qwen:7b
  • ollama run qwen:14b
  • ollama run qwen:32b
  • ollama run qwen:72b
  • ollama run qwen:110b
• 聊天模型在人類偏好方面有顯著的效能提升
• 基礎模型和聊天模型均支援多語言
• 所有尺寸的模型均穩定支援 32K 上下文長度

原始的 Qwen 模型提供四種不同的參數尺寸：1.8B、7B、14B 和 72B。

功能特色

• 低成本部署：推論所需的最低記憶體小於 2GB。

• 大規模高品質訓練語料庫：模型在超過 2.2 兆個 token 上進行預訓練，包括中文、英文、多語言文本、程式碼和數學，涵蓋一般和專業領域。預訓練語料庫的分佈已通過大量消融實驗進行最佳化。

• 效能良好：Qwen 支援長上下文長度（1.8b、7b 和 14b 參數模型為 8K，72b 參數模型為 32K），並且在多個中文和英文下游評估任務（包括常識、推理、程式碼、數學等）中顯著超越了現有的同等規模的開放原始碼模型，甚至在多個基準測試中超越了一些更大規模的模型。

• 更全面的詞彙覆蓋範圍：與其他基於中文和英文詞彙的開放原始碼模型相比，Qwen 使用超過 15 萬個 token 的詞彙。此詞彙對多種語言更友善，讓使用者可以直接進一步增強某些語言的能力，而無需擴展詞彙。

• 系統提示：Qwen 可以透過使用系統提示來實現角色扮演、語言風格轉換、任務設定和行為設定。

參考資料

GitHub

Hugging Face