IBM Granite 1B 和 3B 模型是 IBM 首批設計用於低延遲用途的專家混合 (MoE) Granite 模型。
工具 1b 3b
44.4K 下載次數 更新於 3 個月前
更新於 3 個月前
3 個月前
ea6a79b9b3cc · 659MB
模型
架構granitemoe
·
參數1.33B
·
量化Q3_K_M
659MB
參數
{ "num_gpu": 23 }
15B
系統
您是 Granite,一個由 IBM 於 2024 年開發的 AI 語言模型。
63B
模板
{{- if .Tools }}<|start_of_role|>available_tools<|end_of_role|> {{- range .Tools }} {{ . }} {{ end }
664B
許可證
Apache License Version 2.0, January 2004
11kB
說明文件
Granite 專家混合模型
The IBM Granite 1B 和 3B 模型是 IBM 首批設計用於低延遲用途的專家混合 (MoE) Granite 模型。
這些模型在超過 10 兆個 tokens 的資料上進行訓練,Granite MoE 模型非常適合部署在裝置端應用程式或需要即時推論的情境中。
參數大小
1B
ollama run granite3-moe:1b
3B
ollama run granite3-moe:3b
支援語言
英語、德語、西班牙語、法語、日語、葡萄牙語、阿拉伯語、捷克語、義大利語、韓語、荷蘭語、簡體中文
功能
- 摘要
- 文本分類
- 文本擷取
- 問答
- 檢索增強生成 (RAG)
- 程式碼相關
- 函數呼叫
- 多語言對話使用案例
Granite 密集模型
Granite 密集模型提供 2B 和 8B 參數大小,旨在支援基於工具的使用案例和檢索增強生成 (RAG),簡化程式碼生成、翻譯和錯誤修復。
了解更多
- 開發者: IBM Research
- GitHub 儲存庫: ibm-granite/granite-3.0-language-models
- 網站: Granite Docs
- 發布日期: 2024 年 10 月 21 日
- 許可證: Apache 2.0。