更新於 11 個月前
11 個月前
4fca83b20ba0 · 140GB
模型
架構dbrx
·
參數132B
·
量化Q8_0
140GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系統
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions ba
1.0kB
授權條款
Databricks Open Model License By using, reproducing, modifying, distributing, performing or display
8.3kB
說明文件
DBRX 需要 Ollama 0.1.32 版本以上
DBRX 是一個基於 Transformer 的僅解碼器大型語言模型 (LLM)，使用下一個 token 預測進行訓練。它使用細粒度的混合專家 (MoE) 架構，總共有 132B 個參數，其中在任何輸入上都有 36B 個參數處於活動狀態。它在 12T token 的文本和程式碼數據上進行了預訓練。
它是一個功能特別強大的程式碼模型，在程式設計方面超越了像 CodeLLaMA-70B 這樣的專業模型，並且它作為通用 LLM 也具有優勢。