Updated 11 months ago
11 個月前更新
36800d8d3a28 · 74GB
model
archdbrx
·
parameters132B
·
quantizationQ4_0
74GB
params
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
template
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
system
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions ba
1.0kB
license
Databricks Open Model License By using, reproducing, modifying, distributing, performing or display
8.3kB
自述檔案
DBRX 需要 Ollama 0.1.32
DBRX 是一個基於 Transformer 的僅解碼器大型語言模型 (LLM)，它使用下一個 token 預測進行訓練。它使用細粒度的混合專家 (MoE) 架構，總共有 132B 個參數，其中任何輸入上都有 36B 個參數處於活動狀態。它在 12T 個 token 的文字和程式碼資料上進行了預訓練。
它是一個特別有能力的程式碼模型，在程式設計方面超越了像 CodeLLaMA-70B 這樣的專業模型，並且它也具有作為通用 LLM 的優勢。