orca-mini:3b-q4_0

Orca Mini 是一個基於 Llama 和 Llama 2 模型，使用 Orca 風格資料集訓練的模型，該資料集是使用論文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》中定義的方法創建的。有兩個版本可用。最初的 Orca Mini 基於 Llama，參數規模為 30 億、70 億和 130 億，以及基於 Llama 2 的 v3 版本，參數規模為 70 億、130 億和 700 億。

使用方式

命令列介面（CLI）

開啟終端機並執行 ollama run orca-mini

應用程式介面（API）

範例

  curl -X POST https://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

記憶體需求

7b 模型通常至少需要 8GB 的記憶體（RAM）
13b 模型通常至少需要 16GB 的記憶體（RAM）
70b 模型通常至少需要 64GB 的記憶體（RAM）

參考資料

3b 參數原始來源：Pankaj Mathur

7b 參數原始來源：Pankaj Mathur

13b 參數原始來源：Pankaj Mathur

Ollama 上的 Orca Mini v3 來源

13b 參數原始來源：Pankaj Mathur

70b 參數來源：Pankaj Mathur

Orca: Progressive Learning from Complex Explanation Traces of GPT-4

Orca Mini is a Llama and Llama 2 model trained on Orca Style datasets created using the approaches defined in the paper, Orca: Progressive Learning from Complex Explanation Traces of GPT-4. There are two variations available. The original Orca Mini based on Llama in 3, 7, and 13 billion parameter sizes, and v3 based on Llama 2 in 7, 13, and 70 billion parameter sizes.

## Usage

### CLI

Open the terminal and run `ollama run orca-mini`

### API

Example:

```bash
  curl -X POST https://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'
  ```

## Memory requirements

- 7b models generally require at least 8GB of RAM
- 13b models generally require at least 16GB of RAM
- 70b models generally require at least 64GB of RAM

## Reference

3b parameters original source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_3b)

7b parameters original source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_7b)

13b parameters original source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_13b)

**Orca Mini v3 source on Ollama**

13b parameters original source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_v3_13b)

70b parameters source:
 [Pankaj Mathur](https://huggingface.co/psmathur/orca_mini_v3_70b)

[Orca: Progressive Learning from Complex Explanation Traces of GPT-4](https://arxiv.org/abs/2306.02707 )

貼上、拖曳或點擊以上傳圖片 (.png, .jpeg, .jpg, .svg, .gif)