更新於 5 個月前
5 個月前
e84e5da3da89 · 17GB
模型
架構solar
·
參數22.1B
·
量化Q5_1
17GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
範本
{{- range $index, $_ := .Messages }}<|im_start|>{{ .Role }} {{ .Content }} {{- if eq (len (slice $.M
232B
授權
MIT 授權條款 Copyright (c) Upstage Corporation. 在此授予許可，免費提供給任何人
1.1kB
說明文件
Solar Pro 預覽版是一款先進的大型語言模型 (LLM)，具有 220 億個參數，並針對在單個 GPU 上運行進行了優化。它展現了優於參數少於 300 億的 LLM 的卓越性能，並提供了與更大的模型（如具有 700 億個參數的 Llama 3.1）相媲美的結果。
Solar Pro 預覽版採用深度向上擴展方法的增強版本開發，將具有 140 億個參數的 Phi-3-medium 模型擴展到 220 億個參數，旨在在具有 80GB VRAM 的 GPU 上運行。訓練策略和數據集經過精心策劃，在 MMLU-Pro 和 IFEval 等基準測試中實現了相對於 Phi-3-medium 的顯著性能提升，這些基準測試評估了模型的知識和指令遵循能力。
作為官方 Solar Pro 的預發布版本，Solar Pro 預覽版在語言覆蓋範圍和最大上下文長度 4K 方面存在限制。儘管存在這些限制，但該模型仍以其效率和能力脫穎而出，並具有未來擴展以支持更多語言和功能的潛力。
官方版本的 Solar Pro 計劃於 2024 年 11 月發布，將包括擴展的語言支持和更長的上下文窗口。