Stable LM 2 是一個最先進的 1.6B 和 12B 參數語言模型,使用英語、西班牙語、德語、義大利語、法語、葡萄牙語和荷蘭語的多語言資料進行訓練。

1.6b 12b

105.1K 9 個月前

說明文件

Stable LM 2 1.6B 是一個最先進的 1.6 和 120 億參數小型語言模型,使用英語、西班牙語、德語、義大利語、法語、葡萄牙語和荷蘭語的多語言資料進行訓練。

該模型在公開可用的資料集和合成資料集的混合資料上進行訓練,利用直接偏好優化 (Direct Preference Optimization, DPO)。

參考資料

公告

HuggingFace