Granite guardian 模型

IBM Granite Guardian 3.0 **2B 和 8B 模型**旨在偵測提示和/或回應中的風險。它們可以協助偵測 IBM AI Risk Atlas 中編目的許多關鍵面向的風險。它們使用獨特的資料進行訓練，這些資料包括人工註釋和內部紅隊演練提供的合成資料，並且在標準基準測試中，它們的效能優於同一領域的其他開放原始碼模型。

參數大小

此模型將產生單一輸出 token，即 Yes 或 No。預設情況下，使用通用 harm 類別，但可以透過設定系統提示來選擇其他類別。

2B

ollama run granite3-guardian:2b
>>> /set system profanity

8B

ollama run granite3-guardian:8b
>>> /set system violence

支援用途

• 提示文字或模型回應中的風險偵測（即作為護欄），例如

  • Harm (harm)：內容被認為普遍有害
  • Social Bias (social_bias)：基於身分或特徵的偏見
  • Jailbreaking (jailbreak)：蓄意操縱 AI 以產生有害、不良或不當內容的例子
  • Violence (violence)：宣揚肢體、精神或性傷害的內容
  • Profanity (profanity)：使用冒犯性語言或侮辱
  • Sexual Content (sexual_content)：具有性性質的露骨或暗示性材料
  • Unethical Behavior (unethical_behavior)：違反道德或法律標準的行為

• RAG（檢索增強生成）以評估

  • Context relevance (relevance)：檢索到的上下文是否與查詢相關
  • Groundedness (groundedness)：回應是否準確且忠實於提供的上下文
  • Answer relevance (answer_relevance)：回應是否直接解決使用者的查詢

Granite dense 模型

Granite dense 模型提供 **2B 和 8B** 參數大小，旨在支援基於工具的使用案例和檢索增強生成（RAG），簡化程式碼生成、翻譯和錯誤修復。

查看模型頁面

Granite mixture of experts 模型

Granite MoE 模型提供 **1B 和 3B** 參數大小，專為低延遲使用而設計，並支援在裝置端應用程式或需要即時推論的情況下部署。

查看模型頁面

瞭解更多

• 開發者： IBM Research
• GitHub 儲存庫： ibm-granite/granite-guardian
• 網站： Granite Guardian 文件
• 食譜： Granite Guardian Snack
• 發布日期：2024 年 10 月 21 日
• 授權條款： Apache 2.0。