Falcon3 代表了 TII 在小於 10B 參數的高效率 AI 模型上的最新進展，專注於透過創新的訓練技術來增強科學、數學和程式碼能力。
1b 3b 7b 10b
28.4K 提取次數 更新於 6 週前
更新於 6 週前
6 週前
472ea1c89f64 · 4.6GB
模型
架構llama
·
參數7.46B
·
量化Q4_K_M
4.6GB
參數
{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"
101B
模板
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {
218B
授權條款
Falcon 3 TII Falcon 授權條款 2024 年 12 月 FalconLLM.tii.ae 前言 本授權條款在於
13kB
Readme
Falcon3 代表了 TII 在小於 10B 參數的高效率語言模型上的最新進展，專注於增強科學、數學和程式碼能力，同時保持訓練效率。
主要特色
- 四種尺寸：1B、3B、7B、10B
- 使用深度向上擴展技術從 7B 模型創建 10B 模型
- 為較小模型（1B、3B）進行知識蒸餾
效能亮點
falcon3:1b勝過smollm2:1.7b，與gemma2:2b相匹敵falcon3:10b在小於 13B 類別中達到 SOTA- 擴展上下文長度最多 32K tokens（1B 模型為 8K）