一款精巧而強大的 10.7B 大型語言模型,專為單輪對話而設計。

10.7b

76.2K 13 個月前

自述檔案

Solar 是首個開源 107 億參數語言模型。它結構精巧,功能卻非常強大,在參數少於 30B 的模型中展現了最先進的效能。

此模型採用 Llama 2 架構,並採用深度向上擴展技術,將 Mistral 7B 權重整合到向上擴展層中。

在 H6 基準測試中,此模型的效能優於參數高達 30B 的模型,甚至超越 Mixtral 8X7B 模型。

參考文獻

HuggingFace

Upstage AI