qwen2

Qwen2 是阿里巴巴集團推出的一系列新型大型語言模型

工具 0.5b 1.5b 7b 72b

4.1M 4 個月前

97 個標籤

自述檔案

Qwen2 使用 29 種語言的資料進行訓練，包括英語和中文。

它提供 4 種參數尺寸：0.5B、1.5B、7B、72B。

在 7B 和 72B 模型中，上下文長度已擴展至 128k 個 tokens。

模型 Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
參數 0.49B 1.54B 7.07B 72.71B
非嵌入參數 0.35B 1.31B 5.98B 70.21B
GQA 是 是 是 是
綁定嵌入 是 是 否 否
上下文長度 32K 32K 128K 128K

支援的語言

這是除了英語和中文之外的語言

地區 語言
西歐 German, French, Spanish, Portuguese, Italian, Dutch
東歐與中歐 Russian, Czech, Polish
中東 Arabic, Persian, Hebrew, Turkish
東亞 Japanese, Korean
東南亞 Vietnamese, Thai, Indonesian, Malay, Lao, Burmese, Cebuano, Khmer, Tagalog
南亞 Hindi, Bengali, Urdu

效能

image.png

image.png

image.png

image.png

許可證

除 Qwen2 72B（instruct 模型和 base 模型）之外的所有模型均已獲得 Apache 2.0 許可。

Qwen2 72B 模型仍然使用原始的 Qianwen 許可證。