更新於 13 個月前
13 個月前
ce562b04760c · 6.1GB
模型
架構llama
·
參數10.7B
·
量化Q4_0
6.1GB
參數
{ "num_ctx": 4096, "stop": [ "</s>" ] }
43B
Readme
Solar 是首個開源 107 億參數語言模型。它結構精巧，但功能非常強大，並在參數少於 300 億的模型中展現最先進的效能。
此模型利用 Llama 2 架構，並採用深度提升技術，將 Mistral 7B 權重整合到提升規模的層中。
在 H6 基準測試中，此模型的效能超越高達 300 億參數的模型，甚至 Mixtral 8X7B 模型。