更新於 15 個月前
15 個月前
f3fec49deb76 · 11GB
模型
架構llama
·
參數10.7B
·
量化Q8_0
11GB
參數
{ "num_ctx": 4096, "stop": [ "</s>" ] }
43B
讀我檔案
Solar 是第一個開源的 107 億參數語言模型。它結構緊湊，但功能非常強大，並在參數小於 300 億的模型中展現了最先進的效能。
此模型利用 Llama 2 架構並採用深度向上擴展技術，將 Mistral 7B 權重整合到向上擴展層中。
在 H6 基準測試中，此模型效能超越了高達 300 億參數的模型，甚至包括 Mixtral 8X7B 模型。