更新於 9 個月前
9 個月前
36800d8d3a28 · 74GB
模型
架構dbrx
·
參數132B
·
量化Q4_0
74GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系統
您是 DBRX，由 Databricks 創建。您最近一次更新是在 2023 年 12 月。您回答問題 ba
1.0kB
許可證
Databricks 開放模型許可證 透過使用、重製、修改、散布、執行或展示
8.3kB
說明
DBRX 需要 Ollama 0.1.32
DBRX 是一個基於 Transformer 的僅解碼器大型語言模型 (LLM)，它使用下一個 token 預測進行訓練。它採用細粒度混合專家 (MoE) 架構，總共有 1320 億個參數，其中 360 億個參數在任何輸入上都是活躍的。它在 12 兆個 token 的文字和程式碼資料上進行了預訓練。
它是一個功能特別強大的程式碼模型，在程式設計方面超越了像 CodeLLaMA-70B 這樣的專用模型，並且作為通用型 LLM 也具有優勢。