IBM Granite 3.0 模型

現在可以使用 Ollama 執行精選的 IBM Granite 3.0 模型。所有模型均以標準 Apache 2.0 授權 提供。

效能與最先進的開放模型並駕齊驅

2B

ollama run granite3-dense

8B

ollama run granite3-dense:8b

Granite 2B 和 Granite 8B 是純文字密集型 LLM，在超過 12 兆個 tokens 的資料上進行訓練，在 IBM 的初步測試中，效能和速度都顯著優於前代產品。Granite 8B Instruct 現在在 OpenLLM Leaderboard v1 和 OpenLLM Leaderboard v2 基準測試中均能與 Llama 3.1 8B Instruct 相匹敵。

它們旨在支援基於工具的使用案例，並支援檢索增強生成 (RAG)，簡化程式碼生成、翻譯和錯誤修復。

低延遲的專家混合 (MoE) 模型

1B

ollama run granite3-moe

3B

ollama run granite3-moe:3b

1B 和 3B 模型是 IBM 首批為低延遲使用而設計的專家混合 (MoE) Granite 模型。

這些模型在超過 10 兆個 tokens 的資料上進行訓練，Granite MoE 模型非常適合部署在裝置端應用程式或需要即時推論的情況中。

功能

• 摘要
• 文本分類
• 文本提取
• 問答
• 檢索增強生成 (RAG)
• 程式碼相關
• 函數呼叫
• 多語言對話使用案例

開始使用

• Granite Dense 2B 和 8B 模型
• Granite 專家混合 1B 和 3B 模型