Falcon3 是一系列基於創新訓練技術，在科學、數學和編碼方面表現出色，且參數少於 100 億的高效率人工智慧模型。
1b 3b 7b 10b
42.2K 下載次數 更新時間 2 個月前
2 個月前更新
2 個月前
472ea1c89f64 · 4.6GB
模型
archllama
·
parameters7.46B
·
quantizationQ4_K_M
4.6GB
參數
{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"
101B
範本
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {
218B
許可證
Falcon 3 TII Falcon License December 2024 FalconLLM.tii.ae Introductory note This license is, in
13kB
說明文件
Falcon3 代表 TII 在參數少於 100 億的高效率語言模型方面的最新進展，專注於提升在科學、數學和程式碼方面的能力，同時保持訓練效率。
主要特色
- 四種尺寸：1B、3B、7B、10B
- 使用深度放大技術從 7B 模型創建 10B 模型
- 較小模型（1B、3B）的知識蒸餾
效能亮點
falcon3:1b效能優於smollm2:1.7b，效能相當於gemma2:2bfalcon3:10b在低於 13B 參數類別中達到 SOTA- 擴展上下文長度高達 32K tokens（1B 模型為 8K）