更新於 13 個月前
13 個月前
9e5604e44818 · 6.1GB
模型
archllama
·
parameters10.7B
·
quantizationQ4_K_S
6.1GB
參數
{ "num_ctx": 4096, "stop": [ "</s>" ] }
43B
說明文件
Solar 是第一個開源的 107 億參數語言模型。它精巧而強大,並在參數少於 300 億的模型中展現了最先進的效能。
此模型採用 Llama 2 架構,並使用深度向上擴展技術,將 Mistral 7B 權重整合到向上擴展層中。
在 H6 基準測試中,此模型效能優於高達 300 億參數的模型,甚至包括 Mixtral 8X7B 模型。