Mistral Small 3 在 70B 以下的「小型」大型語言模型類別中,樹立了新的基準。

工具 22b 24b

96.5K 4 天前

Readme

Mistral Small 3 在 70B 以下的「小型」大型語言模型類別中,樹立了新的基準,擁有 24B 個參數,並實現了可與較大型模型相媲美的最先進功能。

Mistral Small 可以本地部署,並且具有極高的「知識密度」,量化後可容納在單個 RTX 4090 或 32GB RAM 的 MacBook 中。非常適合用於

  • 快速回應的對話式代理。
  • 低延遲函數呼叫。
  • 透過微調的主題專家。
  • 供愛好者和處理敏感資料的組織進行本地推論。

主要特色

  • 多語言: 支援數十種語言,包括英語、法語、德語、西班牙語、義大利語、中文、日語、韓語、葡萄牙語、荷蘭語和波蘭語。
  • 以代理為中心: 提供同類最佳的代理功能,具有原生函數呼叫和 JSON 輸出。
  • 進階推理: 最先進的對話和推理能力。
  • Apache 2.0 授權條款: 開放授權條款,允許將其用於商業和非商業目的,並進行修改。
  • 上下文視窗: 32k 上下文視窗。
  • 系統提示: 維持對系統提示的強烈堅持和支援。
  • 分詞器: 使用 Tekken 分詞器,詞彙量為 131k。

人類評估

Human ratings

我們與外部第三方供應商,針對超過 1 千個專有編碼和通用提示的集合,進行了並排評估。評估人員的任務是從 Mistral Small 3 與另一個模型產生的匿名生成內容中,選出他們偏好的模型回應。我們知道在某些情況下,人類判斷的基準與公開可用的基準截然不同,但我們已格外謹慎地驗證了公平的評估。我們確信上述基準是有效的。

Instruct 效能

我們的指令微調模型在程式碼、數學、一般知識和指令遵循基準方面,與尺寸是其三倍的開放權重模型以及專有的 GPT4o-mini 模型相比,具有競爭力。

instruct performance instruct performance

instruct performance

所有基準的效能準確度都是透過相同的內部評估管道獲得的 - 因此,數字可能與先前報告的效能 (Qwen2.5-32B-Instruct、Llama-3.3-70B-Instruct、Gemma-2-27B-IT) 略有不同。基於判斷的評估(例如 Wildbench、Arena hard 和 MTBench)是基於 gpt-4o-2024-05-13。

客戶正在多個產業中評估 Mistral Small 3,包括

  • 金融服務客戶用於詐欺偵測
  • 醫療保健提供者用於客戶分診
  • 機器人、汽車和製造公司用於裝置端命令和控制
  • 跨客戶的橫向使用案例包括虛擬客戶服務,以及情感和意見回饋分析。