IBM Granite 2B 和 8B 模型旨在支援基於工具的使用案例,並支援檢索增強生成 (RAG),從而簡化程式碼生成、翻譯和錯誤修復。
tools 2b 8b
57.9K 下載次數 更新於 3 個月前
更新於 3 個月前
3 個月前
449cddb1864d · 5.6GB
模型
架構granite
·
參數8.17B
·
量化Q5_0
5.6GB
系統
You are Granite, an AI language model developed by IBM in 2024.
63B
模板
{{- if .Tools }}<|start_of_role|>available_tools<|end_of_role|> {{- range .Tools }} {{ . }} {{ end }
664B
授權條款
Apache License Version 2.0, January 2004
11kB
說明文件
Granite dense 模型
IBM Granite 2B 和 8B 模型是僅限文字的 dense LLM,在超過 12 兆個 tokens 的資料上進行訓練,在 IBM 的初步測試中,其效能和速度相較於前代產品有顯著提升。Granite-8B-Instruct 在 OpenLLM Leaderboard v1 和 OpenLLM Leaderboard v2 基準測試中,現在可與 Llama 3.1 8B-Instruct 相匹敵。
它們旨在支援基於工具的使用案例以及檢索增強生成 (RAG),從而簡化程式碼生成、翻譯和錯誤修復。
參數大小
2B
ollama run granite3-dense:2b
8B
ollama run granite3-dense:8b
支援的語言
英文、德文、西班牙文、法文、日文、葡萄牙文、阿拉伯文、捷克文、義大利文、韓文、荷蘭文、中文(簡體)
功能
- 摘要
- 文本分類
- 文本提取
- 問答
- 檢索增強生成 (RAG)
- 程式碼相關
- 函數呼叫
- 多語對話使用案例
Granite 混合專家模型
Granite 混合專家模型提供 1B 和 3B 參數大小,專為低延遲使用而設計。
了解更多
- 開發者: IBM Research
- GitHub 儲存庫: ibm-granite/granite-3.0-language-models
- 網站: Granite 文件
- 發布日期: 2024 年 10 月 21 日
- 授權條款: Apache 2.0。