更新於 11 個月前
11 個月前
36800d8d3a28 · 74GB
模型
架構dbrx
·
參數132B
·
量化Q4_0
74GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系統
您是 DBRX，由 Databricks 創建。您上次更新於 2023 年 12 月。您回答問題 ba
1.0kB
授權條款
Databricks 開源模型授權條款 透過使用、重製、修改、散布、執行或展示
8.3kB
讀我檔案
DBRX 需要 Ollama 0.1.32
DBRX 是一個基於 Transformer 的僅解碼器大型語言模型 (LLM)，它使用下一個 token 預測進行訓練。它使用細粒度的混合專家 (MoE) 架構，總共有 132B 個參數，其中在任何輸入上都有 36B 個參數處於活動狀態。它在 12T 個 token 的文字和程式碼資料上進行了預訓練。
它是一個功能特別強大的程式碼模型，在程式設計方面超越了像 CodeLLaMA-70B 這樣的專業模型，並且它也是一個通用的 LLM。