Solar Pro Preview：一款先進的大型語言模型 (LLM)，具有 220 億個參數，旨在適用於單個 GPU
22b
32.1K 下載次數 更新於 5 個月前
讀我檔案
Solar Pro 預覽版是一款先進的大型語言模型 (LLM)，具有 220 億個參數，並針對在單個 GPU 上運行進行了最佳化。它展現出比參數少於 300 億的 LLM 更優越的效能，並提供與更大的模型（如具有 700 億個參數的 Llama 3.1）相媲美的結果。
Solar Pro 預覽版採用深度向上擴展方法的增強版本開發，將具有 140 億個參數的 Phi-3-medium 模型擴展到 220 億個，旨在於具有 80GB VRAM 的 GPU 上運行。訓練策略和資料集經過精心策劃，相較於 Phi-3-medium，效能顯著提升，尤其是在 MMLU-Pro 和 IFEval 等基準測試中，這些基準測試評估了模型的知識和指令遵循能力。
作為官方 Solar Pro 的預發布版本，Solar Pro 預覽版在語言覆蓋範圍和最大上下文長度 4K 方面有所限制。儘管存在這些限制，該模型仍以其效率和能力脫穎而出，並具有未來擴展以支援更多語言和功能的潛力。
官方版本的 Solar Pro 計劃於 2024 年 11 月發布，將包含擴展的語言支援和更長的上下文窗口。