orca-mini:7b-q4_K_S

Orca Mini 是一個基於 Llama 和 Llama 2 模型訓練的模型，訓練資料集使用了 Orca 風格資料集，這些資料集是使用論文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》中定義的方法創建的。有兩種版本可用。最初的 Orca Mini 基於 Llama，參數大小有 30 億、70 億和 130 億，而 v3 基於 Llama 2，參數大小有 70 億、130 億和 700 億。

使用方式

CLI

開啟終端機並執行 ollama run orca-mini

API

範例

  curl -X POST https://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

記憶體需求

7b 模型通常至少需要 8GB RAM
13b 模型通常至少需要 16GB RAM
70b 模型通常至少需要 64GB RAM

參考資料

30 億參數原始來源： Pankaj Mathur

70 億參數原始來源： Pankaj Mathur

130 億參數原始來源： Pankaj Mathur

Orca Mini v3 在 Ollama 上的來源

130 億參數原始來源： Pankaj Mathur

700 億參數來源： Pankaj Mathur

Orca：從 GPT-4 複雜解釋追蹤中進行漸進式學習

Orca Mini is a Llama and Llama 2 model trained on Orca Style datasets created using the approaches defined in the paper, Orca: Progressive Learning from Complex Explanation Traces of GPT-4. There are two variations available. The original Orca Mini based on Llama in 3, 7, and 13 billion parameter sizes, and v3 based on Llama 2 in 7, 13, and 70 billion parameter sizes.

## Usage

### CLI

Open the terminal and run `ollama run orca-mini`

### API

Example:

```bash
  curl -X POST https://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'
  ```

## Memory requirements

- 7b models generally require at least 8GB of RAM
- 13b models generally require at least 16GB of RAM
- 70b models generally require at least 64GB of RAM

## Reference

3b parameters original source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_3b)

7b parameters original source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_7b)

13b parameters original source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_13b)

**Orca Mini v3 source on Ollama**

13b parameters original source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_v3_13b)

70b parameters source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_v3_70b)

[Orca: Progressive Learning from Complex Explanation Traces of GPT-4](https://arxiv.org/abs/2306.02707 )

貼上、拖曳或點擊上傳圖片 (.png, .jpeg, .jpg, .svg, .gif)