qwen2

Qwen2 是阿里巴巴集團推出的一系列新型大型語言模型

工具 0.5b 1.5b 7b 72b

4.1M 4 個月前

97 個標籤

Readme

Qwen2 是使用 29 種語言的資料進行訓練的，包括英文和中文。

它提供 4 種參數尺寸：0.5B、1.5B、7B、72B。

在 7B 和 72B 模型中，上下文長度已擴展至 128k 個 tokens。

模型 Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
參數 0.49B 1.54B 7.07B 72.71B
非嵌入參數 0.35B 1.31B 5.98B 70.21B
GQA 是 是 是 是
綁定嵌入 是 是 否 否
上下文長度 32K 32K 128K 128K

支援的語言

這是除了英文和中文之外的語言

地區 語言
西歐 德文、法文、西班牙文、葡萄牙文、義大利文、荷蘭文
東歐 & 中歐 俄文、捷克文、波蘭文
中東 阿拉伯文、波斯文、希伯來文、土耳其文
東亞 日文、韓文
東南亞 越南文、泰文、印尼文、馬來文、寮文、緬甸文、宿霧語、高棉語、他加祿語
南亞 印地語、孟加拉語、烏爾都語

效能

image.png

image.png

image.png

image.png

許可證

除 Qwen2 72B（instruct 和 base 模型）以外的所有模型均已獲得 Apache 2.0 許可。

Qwen2 72B 模型仍然使用原始的 Qianwen 許可證。