IBM Granite 3.0 模型

現在可以使用 Ollama 執行精選的 IBM Granite 3.0 模型。所有模型均以標準 Apache 2.0 授權提供。

效能與最先進的開放模型相當

2B

ollama run granite3-dense

8B

ollama run granite3-dense:8b

Granite 2B 和 Granite 8B 是僅限文字的密集 LLM，使用超過 12 兆個 token 的資料進行訓練，在 IBM 的初步測試中，效能和速度都比前代產品顯著提升。Granite 8B Instruct 現在在 OpenLLM Leaderboard v1 和 OpenLLM Leaderboard v2 基準測試中，都可與 Llama 3.1 8B Instruct 相匹敵。

它們旨在支援以工具為基礎的使用案例，並支援檢索增強生成 (RAG)，簡化程式碼生成、翻譯和錯誤修正。

用於低延遲的專家混合 (MoE) 模型

1B

ollama run granite3-moe

3B

ollama run granite3-moe:3b

1B 和 3B 模型是 IBM 首批為低延遲使用而設計的專家混合 (MoE) Granite 模型。

這些模型使用超過 10 兆個 token 的資料進行訓練，Granite MoE 模型非常適合部署在裝置端應用程式或需要即時推論的情況。

功能

• 摘要
• 文本分類
• 文本提取
• 問答
• 檢索增強生成 (RAG)
• 程式碼相關
• 函數呼叫
• 多語言對話使用案例

開始使用

• Granite Dense 2B 和 8B 模型
• Granite 專家混合 1B 和 3B 模型