讀我檔案
Solar 是首個開源 107 億參數語言模型。它精巧而功能強大,並在參數少於 300 億的模型中展現了頂尖效能。
此模型採用 Llama 2 架構,並使用深度向上擴展技術,將 Mistral 7B 權重整合到擴展層中。
在 H6 基準測試中,此模型的效能超越了參數高達 300 億的模型,甚至包括 Mixtral 8X7B 模型。
Solar 是首個開源 107 億參數語言模型。它精巧而功能強大,並在參數少於 300 億的模型中展現了頂尖效能。
此模型採用 Llama 2 架構,並使用深度向上擴展技術,將 Mistral 7B 權重整合到擴展層中。
在 H6 基準測試中,此模型的效能超越了參數高達 300 億的模型,甚至包括 Mixtral 8X7B 模型。