Falcon3 是一系列低於 10B 參數的高效率 AI 模型,透過創新的訓練技術,在科學、數學和編碼方面表現出色。
1b 3b 7b 10b
42.2K 下載次數 更新於 2 個月前
更新於 2 個月前
2 個月前
784a7eab5b89 · 2.0GB
模型
架構llama
·
參數3.23B
·
量化Q4_K_M
2.0GB
參數
{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"
101B
模板
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {
218B
授權條款
Falcon 3 TII Falcon 授權條款 2024 年 12 月 FalconLLM.tii.ae 前言 本授權條款是,在
13kB
說明文件
Falcon3 代表 TII 在低於 10B 參數的高效率語言模型方面的最新進展,專注於增強科學、數學和程式碼能力,同時保持訓練效率。
主要特色
- 四種尺寸:1B、3B、7B、10B
- 深度向上擴展技術,用於從 7B 模型創建 10B 模型
- 用於較小模型(1B、3B)的知識蒸餾
效能亮點
falcon3:1b
優於smollm2:1.7b
,與gemma2:2b
相當falcon3:10b
在 13B 以下類別中達到 SOTA- 擴展上下文長度高達 32K tokens(1B 模型為 8K)