Solar Pro Preview：一款先進的大型語言模型 (LLM)，具有 220 億參數，設計為可容納於單一 GPU 中
22b
32.1K 下載次數 更新於 5 個月前
更新於 5 個月前
5 個月前
f3047ccbe196 · 9.6GB
模型
架構solar
·
參數22.1B
·
量化Q3_K_S
9.6GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{- range $index, $_ := .Messages }}<|im_start|>{{ .Role }} {{ .Content }} {{- if eq (len (slice $.M
232B
授權
MIT License Copyright (c) Upstage Corporation. Permission is hereby granted, free of charge, to an
1.1kB
讀我檔案
Solar Pro Preview 是一款先進的大型語言模型 (LLM)，具有 220 億參數，最佳化以在單一 GPU 上運作。相較於參數少於 300 億的 LLM，它展現更優異的效能，且效能可與更大的模型相媲美，例如擁有 700 億參數的 Llama 3.1。
Solar Pro Preview 使用深度向上擴展方法的增強版本開發，將一個擁有 140 億參數的 Phi-3-medium 模型擴展到 220 億，設計為在具有 80GB VRAM 的 GPU 上運行。訓練策略和數據集經過精心策劃，相較於 Phi-3-medium，帶來顯著的效能提升，尤其是在 MMLU-Pro 和 IFEval 等基準測試中，這些基準測試評估模型的知識和指令遵循能力。
作為官方 Solar Pro 的預發布版本，Solar Pro Preview 在語言覆蓋範圍和最大上下文長度（4K）方面有所限制。儘管有這些限制，該模型仍以其效率和能力脫穎而出，未來有潛力擴展以支援更多語言和功能。
官方版本的 Solar Pro，預計於 2024 年 11 月發布，將包含更廣泛的語言支援和更長的上下文窗口。