Stable LM 2 是一款最先進的 1.6B 和 12B 參數語言模型,基於包含英文、西班牙文、德文、義大利文、法文、葡萄牙文和荷蘭文等多種語言的多語言資料進行訓練。

1.6b 12b

105.1K 9 個月前

Readme

Stable LM 2 1.6B 是一款最先進的 1.6 和 12B 十億參數小型語言模型,基於包含英文、西班牙文、德文、義大利文、法文、葡萄牙文和荷蘭文等多種語言的多語言資料進行訓練。

該模型基於混合的公開可用資料集和合成資料集進行訓練,並利用直接偏好最佳化 (DPO)。

參考文獻

公告

HuggingFace