Falcon3 是一系列參數少於 100 億的高效 AI 模型，透過創新的訓練技術，在科學、數學和編碼方面表現出色。
10億 30億 70億 100億
2.84萬 提取次數 更新於 6 週前
更新於 6 週前
6 週前
1653ff122acd · 6.3GB
模型
架構llama
·
參數103億
·
量化Q4_K_M
6.3GB
參數
{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"
101B
範本
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {
218B
授權條款
Falcon 3 TII Falcon 授權條款 2024 年 12 月 FalconLLM.tii.ae 前言 本授權條款旨在規範…
13kB
說明文件
Falcon3 代表科技創新研究院 (TII) 在參數少於 100 億的高效率語言模型方面的最新進展，致力於提升科學、數學和程式碼能力，同時維持訓練效率。
主要特色
- 四種尺寸：10億、30億、70億、100億
- 使用深度向上擴展技術，從 70 億模型創建 100 億模型
- 針對較小模型（10億、30億）的知識提煉
效能亮點
falcon3:1b效能超越smollm2:1.7b，與gemma2:2b相匹敵falcon3:10b在 130 億以下類別中達到 SOTA- 擴展上下文長度最多可達 32K tokens (10億模型為 8K)