Solar Pro 預覽版：一款先進的大型語言模型 (LLM)，具有 220 億個參數，設計為可在單一 GPU 上運行
22b
2.74 萬 下載次數 更新於 4 個月前
讀我檔案
Solar Pro 預覽版是一款先進的大型語言模型 (LLM)，具有 220 億個參數，並針對在單一 GPU 上運作進行了最佳化。相較於參數少於 300 億的 LLM，它展現了卓越的效能，且效能可與更大的模型（如具有 700 億個參數的 Llama 3.1）相媲美。
Solar Pro 預覽版採用增強版的深度向上擴展方法開發，將具有 140 億個參數的 Phi-3-medium 模型擴展到 220 億個參數，設計為可在具有 80GB VRAM 的 GPU 上運行。訓練策略和資料集經過精心策劃，相較於 Phi-3-medium，效能顯著提升，尤其是在 MMLU-Pro 和 IFEval 等基準測試中，這些基準測試旨在評估模型的知識和指令遵循能力。
作為官方 Solar Pro 的預發布版本，Solar Pro 預覽版在語言覆蓋範圍和最大上下文長度（4K）方面有所限制。儘管存在這些限制，該模型仍以其效率和功能而脫穎而出，並具有未來擴展以支援更多語言和功能的潛力。
官方版本的 Solar Pro 預計於 2024 年 11 月發布，將包含擴展的語言支援和更長的上下文視窗。