qwen2

Qwen2 是阿里巴巴集團推出的一系列新型大型語言模型

tools 0.5b 1.5b 7b 72b

4.1M 4 個月前

97 個標籤

讀我

Qwen2 使用 29 種語言的資料進行訓練，包括英語和中文。

它提供 4 種參數尺寸：0.5B、1.5B、7B、72B。

在 7B 和 72B 模型中，上下文長度已擴展至 128k tokens。

模型 Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
參數 0.49B 1.54B 7.07B 72.71B
非嵌入參數 0.35B 1.31B 5.98B 70.21B
GQA 是 是 是 是
綁定嵌入 是 是 否 否
上下文長度 32K 32K 128K 128K

支援的語言

這是除了英語和中文之外的語言

地區 語言
西歐 德語、法語、西班牙語、葡萄牙語、義大利語、荷蘭語
東歐與中歐 俄語、捷克語、波蘭語
中東 阿拉伯語、波斯語、希伯來語、土耳其語
東亞 日語、韓語
東南亞 越南語、泰語、印尼語、馬來語、寮語、緬甸語、宿霧語、高棉語、他加祿語
南亞 印地語、孟加拉語、烏爾都語

效能

image.png

image.png

image.png

image.png

授權

除 Qwen2 72B（instruct 和 base 模型）以外的所有模型均採用 Apache 2.0 授權。

Qwen2 72B 模型仍然使用原始的 Qianwen 授權。