Solar Pro Preview：一個先進的大型語言模型 (LLM)，具有 220 億參數，設計為適用於單一 GPU
22b
32.1K 下載次數 更新於 5 個月前
更新於 5 個月前
5 個月前
2cc310f73c41 · 24GB
模型
架構solar
·
參數22.1B
·
量化Q8_0
24GB
參數
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
範本
{{- range $index, $_ := .Messages }}<|im_start|>{{ .Role }} {{ .Content }} {{- if eq (len (slice $.M
232B
許可證
MIT License Copyright (c) Upstage Corporation. Permission is hereby granted, free of charge, to an
1.1kB
說明文件
Solar Pro Preview 是一個先進的大型語言模型 (LLM)，具有 220 億個參數，並最佳化為可在單一 GPU 上運作。相較於參數少於 300 億的 LLM，它展現了卓越的效能，並提供與更大的模型（如 Llama 3.1 的 700 億參數模型）相媲美的結果。
Solar Pro Preview 使用深度向上擴展方法的增強版本開發，將具有 140 億參數的 Phi-3-medium 模型擴展到 220 億，設計為在具有 80GB VRAM 的 GPU 上運行。訓練策略和資料集經過精心策劃，與 Phi-3-medium 相比，效能顯著提升，尤其是在評估模型知識和指令遵循能力的 MMLU-Pro 和 IFEval 等基準測試中。
作為官方 Solar Pro 的預發布版本，Solar Pro Preview 在語言覆蓋範圍和最大上下文長度（4K）方面存在限制。儘管存在這些限制，該模型仍以其效率和功能而著稱，並具有未來擴展以支援更多語言和功能的潛力。
預計於 2024 年 11 月發布的 Solar Pro 官方版本將包含擴展的語言支援和更長的上下文窗口。