更新於 4 個月前
4 個月前
061df9bbeb2e · 11GB
模型
架構solar
·
參數22.1B
·
量化Q3_K_M
11GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{- range $index, $_ := .Messages }}<|im_start|>{{ .Role }} {{ .Content }} {{- if eq (len (slice $.M
232B
授權條款
MIT 授權條款 Copyright (c) Upstage Corporation. 特此授權，免費向任何獲得本軟體和相關文
1.1kB
自述檔案
Solar Pro 預覽版是一款先進的大型語言模型 (LLM)，具有 220 億個參數，並經過最佳化，可在單一 GPU 上運作。相較於參數少於 300 億個的 LLM，它展現了卓越的效能，且交付的結果可與更大的模型（例如具有 700 億個參數的 Llama 3.1）相媲美。
Solar Pro 預覽版採用深度向上擴展方法的增強版本開發，將具有 140 億個參數的 Phi-3-medium 模型擴展到 220 億個，旨在搭載 80GB VRAM 的 GPU 上運行。訓練策略和資料集經過精心策劃，與 Phi-3-medium 相比，效能顯著提升，尤其是在 MMLU-Pro 和 IFEval 等基準測試中，這些基準測試評估了模型的知識和指令遵循能力。
作為官方 Solar Pro 的預發布版本，Solar Pro 預覽版在語言覆蓋範圍和 4K 的最大上下文長度方面有所限制。儘管存在這些限制，該模型仍以其效率和功能而著稱，未來有可能擴展以支援更多語言和功能。
官方版本的 Solar Pro 計劃於 2024 年 11 月發布，將包含擴展的語言支援和更長的上下文窗口。