更新時間 5 週前
5 週前
945eb1864589 · 3.6GB
模型
架構qwen2
·
參數3.4B
·
量化Q8_0
3.6GB
系統
你是一個有幫助的助手。
28B
範本
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|im_start|>{{ .R
255B
授權
Qwen RESEARCH LICENSE AGREEMENT Qwen RESEARCH LICENSE AGREEMENT Release Date: September 19, 2024 B
7.4kB
Readme
一個從 Qwen2.5-3b-Instruct 模型微調而來的新模型。
SmallThinker 設計用於以下使用案例
- 邊緣部署：其小巧的尺寸使其非常適合部署在資源受限的裝置上。
- QwQ-32B-Preview 的初步模型：SmallThinker 可以作為較大的 QwQ-32B-Preview 模型的快速且高效的初步模型，速度提升 70%。
為了實現推理能力，產生長鏈的 COT (Chain-of-Thought) 推理至關重要。因此，基於 QWQ-32B-Preview，作者們使用了各種合成技術（例如 personahub）來創建 QWQ-LONGCOT-500K 資料集。與其他類似的資料集相比，作者樣本中超過 75% 的輸出 tokens 超過 8K。為了鼓勵開源社群的研究，該資料集也被公開發布。