Updated 9 months ago
9 months ago
5de588e06754 · 64GB
model
archqwen2
·
parameters72.7B
·
quantizationQ6_K
64GB
license
Tongyi Qianwen LICENSE AGREEMENT Tongyi Qianwen Release Date: August 3, 2023 By clicking to agree
6.9kB
Readme
Qwen2 是使用 29 種語言的資料訓練而成，包括英文和中文。
它提供 4 種參數尺寸：0.5B、1.5B、7B、72B。
在 7B 和 72B 模型中，上下文長度已擴展至 128k tokens。
| Models | Qwen2-0.5B | Qwen2-1.5B | Qwen2-7B | Qwen2-72B |
|---|---|---|---|---|
| Params | 0.49B | 1.54B | 7.07B | 72.71B |
| Non-Emb Params | 0.35B | 1.31B | 5.98B | 70.21B |
| GQA | True | True | True | True |
| Tie Embedding | True | True | False | False |
| Context Length | 32K | 32K | 128K | 128K |
Supported languages
這是除了英文和中文以外的語言
| Regions | Languages |
|---|---|
| Western Europe | 德語、法語、西班牙語、葡萄牙語、義大利語、荷蘭語 |
| Eastern & Central Europe | 俄語、捷克語、波蘭語 |
| Middle East | 阿拉伯語、波斯語、希伯來語、土耳其語 |
| Eastern Asia | 日語、韓語 |
| South-Eastern Asia | 越南語、泰語、印尼語、馬來語、寮語、緬甸語、宿霧語、高棉語、他加祿語 |
| Southern Asia | 印地語、孟加拉語、烏爾都語 |
Performance
License
除了 Qwen2 72B（instruct 和 base 模型）之外的所有模型均採用 Apache 2.0 授權。
Qwen2 72B 模型仍使用原始的 Qianwen 授權。