qwen2

Qwen2 是阿里巴巴集團推出的一系列新型大型語言模型

工具 0.5b 1.5b 7b 72b

4.1M 4 個月前

97 個標籤

讀我檔案

Qwen2 是使用 29 種語言的資料進行訓練的，包括英文和中文。

它提供 4 種參數尺寸：0.5B、1.5B、7B、72B。

在 7B 和 72B 模型中，上下文長度已擴展至 128k 個 token。

模型 Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
參數 0.49B 1.54B 7.07B 72.71B
非嵌入參數 0.35B 1.31B 5.98B 70.21B
GQA 是 是 是 是
綁定嵌入 是 是 否 否
上下文長度 32K 32K 128K 128K

支援的語言

這是除了英語和中文之外的語言

地區 語言
西歐 德語、法語、西班牙語、葡萄牙語、義大利語、荷蘭語
東歐與中歐 俄語、捷克語、波蘭語
中東 阿拉伯語、波斯語、希伯來語、土耳其語
東亞 日語、韓語
東南亞 越南語、泰語、印尼語、馬來語、寮語、緬甸語、宿霧語、高棉語、塔加拉語
南亞 印地語、孟加拉語、烏爾都語

效能

image.png

image.png

image.png

image.png

許可證

除 Qwen2 72B（instruct 和 base 模型）之外的所有模型均採用 Apache 2.0 許可證。

Qwen2 72B 模型仍然使用原始的 Qianwen 許可證。