qwen2

Qwen2 是阿里巴巴集團新推出的大型語言模型系列

tools 0.5b 1.5b 7b 72b

4.1M 6 months ago

97 Tags

Readme

Qwen2 使用 29 種語言的資料進行訓練，包括英文和中文。

它提供 4 種參數尺寸：0.5B、1.5B、7B、72B。

在 7B 和 72B 模型中，上下文長度已擴展至 128k tokens。

Models Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
Params 0.49B 1.54B 7.07B 72.71B
Non-Emb Params 0.35B 1.31B 5.98B 70.21B
GQA True True True True
Tie Embedding True True False False
Context Length 32K 32K 128K 128K

Supported languages

這是除了英文和中文之外的語言

Regions Languages
Western Europe German, French, Spanish, Portuguese, Italian, Dutch
Eastern & Central Europe Russian, Czech, Polish
Middle East Arabic, Persian, Hebrew, Turkish
Eastern Asia Japanese, Korean
South-Eastern Asia Vietnamese, Thai, Indonesian, Malay, Lao, Burmese, Cebuano, Khmer, Tagalog
Southern Asia Hindi, Bengali, Urdu

Performance

image.png

image.png

image.png

image.png

License

除了 Qwen2 72B（instruct 和 base 模型）之外的所有模型均採用 Apache 2.0 授權。

Qwen2 72B 模型仍然使用原始的 Qianwen 授權。