Qwen 1.5 是由阿里巴巴雲推出的一系列大型語言模型，參數規模從 0.5B 到 110B
0.5b 1.8b 4b 7b 14b 32b 72b 110b
4.3M 下載次數 更新於 9 個月前
更新於 12 個月前
12 個月前
f92117215877 · 50GB
模型
架構qwen2
·
參數72.3B
·
量化Q5_K_S
50GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
範本
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|>{{ end }}<|im_start|>user {{ .Prompt }}<|i
130B
許可證
Tongyi Qianwen LICENSE AGREEMENT Tongyi Qianwen Release Date: August 3, 2023 By clicking to agree
6.9kB
讀我檔案
Qwen 2 現已在此處提供。
Qwen 是阿里巴巴雲推出的一系列基於 Transformer 的大型語言模型，於大量的資料上進行預訓練，包含網頁文本、書籍、程式碼等等。
Qwen 1.5 的新功能
- 6 種模型尺寸，包含 0.5B、1.8B、4B (預設)、7B、14B、32B (新增) 和 72B
ollama run qwen:0.5bollama run qwen:1.8bollama run qwen:4bollama run qwen:7bollama run qwen:14bollama run qwen:32bollama run qwen:72bollama run qwen:110b
- 聊天模型在人類偏好方面有顯著的效能提升
- 基礎模型和聊天模型皆支援多語言
- 所有尺寸的模型皆穩定支援 32K 上下文長度
原始的 Qwen 模型提供四種不同的參數尺寸：1.8B、7B、14B 和 72B。
功能
低成本部署：推論的最低記憶體需求小於 2GB。
大規模高品質訓練語料庫：模型於超過 2.2 兆個 tokens 的資料上進行預訓練，包含中文、英文、多語言文本、程式碼和數學，涵蓋一般和專業領域。預訓練語料庫的分佈已透過大量的消融實驗進行最佳化。
良好效能：Qwen 支援長上下文長度 (在
1.8b、7b和14b參數模型上為 8K，在72b參數模型上為 32K)，並在多個中文和英文下游評估任務 (包含常識、推理、程式碼、數學等等) 中顯著超越現有的同等規模開源模型，甚至在幾個基準測試中超越一些更大規模的模型。更全面的詞彙覆蓋範圍：與其他基於中英文詞彙表的開源模型相比，Qwen 使用超過 150K 個 tokens 的詞彙表。此詞彙表對多種語言更友善，讓使用者可以直接進一步增強特定語言的能力，而無需擴展詞彙表。
系統提示：Qwen 可以透過使用系統提示來實現角色扮演、語言風格轉換、任務設定和行為設定。