5 個月前更新
5 個月前
676df95b0bea · 15GB
模型
架構solar
·
參數22.1B
·
量化Q5_K_S
15GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{- range $index, $_ := .Messages }}<|im_start|>{{ .Role }} {{ .Content }} {{- if eq (len (slice $.M
232B
授權條款
MIT License Copyright (c) Upstage Corporation. Permission is hereby granted, free of charge, to an
1.1kB
Readme
Solar Pro 預覽版是一個先進的大型語言模型 (LLM)，具有 220 億個參數，並針對在單一 GPU 上運作進行了最佳化。相較於參數少於 300 億的 LLM，它展現了卓越的效能，並且能提供與更大的模型（例如具有 700 億個參數的 Llama 3.1）相媲美的結果。
Solar Pro 預覽版使用增強版的深度向上擴展方法開發，將具有 140 億個參數的 Phi-3-medium 模型擴展到 220 億個，設計為可在具有 80GB VRAM 的 GPU 上執行。訓練策略和資料集經過精心策劃，在 MMLU-Pro 和 IFEval 等基準測試中，相較於 Phi-3-medium，效能顯著提升，這些基準測試評估了模型的知識和指令遵循能力。
作為正式版 Solar Pro 的預發布版本，Solar Pro 預覽版在語言覆蓋範圍和最大上下文長度 4K 方面有所限制。儘管有這些限制，該模型仍以其效率和能力而著稱，並具有未來擴展以支援更多語言和功能的潛力。
正式版 Solar Pro 計劃於 2024 年 11 月發布，將包括擴展的語言支援和更長的上下文窗口。