Solar 是第一個開源的 107 億參數語言模型。它結構緊湊，但功能非常強大，並在參數少於 300 億的模型中展現了最先進的性能。

這個模型利用了 Llama 2 架構，並採用了深度向上擴展技術，將 Mistral 7B 權重整合到擴展層中。

在 H6 基準測試中，這個模型的性能優於高達 300 億參數的模型，甚至包括 Mixtral 8X7B 模型。

參考文獻

HuggingFace

Upstage AI