falcon:180b-chat-q4_0

falcon

獵鷹 (Falcon) 是一個大型語言模型，由技術創新研究院 (TII) 建構，用於摘要、文本生成和聊天機器人。

7b 40b 180b

67.2K 提取次數更新於 15 個月前

38 個標籤

更新於 15 個月前

15 個月前

e2bc879d7cee · 101GB

{ "stop": [ "User:", "Assistant:" ] }

31B

模板

{{ .System }} User: {{ .Prompt }} Assistant:

45B

許可證

FALCON 180B TII 許可證版本 1.0 2023 年 9 月 falconllm.tii.ae 前言本許可證

16kB

說明文件

獵鷹 (Falcon) 是一系列高效能大型語言模型，由技術創新研究院 (TII) 建構，該研究院是阿布達比政府先進技術研究委員會轄下的研究中心，負責監督技術研究。

CLI (命令列介面)

ollama run falcon "Why is the sky blue?"

API (應用程式介面)

curl -X POST https://127.0.0.1:11434/api/generate -d '{
  "model": "falcon",
  "prompt": "Why is the sky blue?"
}'

參數計數

參數計數	建議記憶體
70 億	8GB	檢視	`ollama run falcon:7b`
400 億	32GB	檢視	`ollama run falcon:40b`
1800 億	192GB	檢視	`ollama run falcon:180b`

變體版本


`chat (聊天)`	聊天模型在聊天和指令資料集上進行微調，其中混合了多個大規模對話資料集。
`instruct (指令)`	指令模型遵循指令，並在 baize 指令資料集上進行微調。
`text (文本)`	文本模型是基礎模型，未經任何對話微調，最適合用於簡單的文本完成任務。

獵鷹 (Falcon) 180B

截至 2023 年 9 月，1800 億參數模型獵鷹 (Falcon) 180B 是效能最佳的公開發布 LLM。它的效能介於 OpenAI 的 GPT 3.5 和 GPT 4 之間。為了運行獵鷹 (Falcon) 180B，建議使用具有至少 192GB 總記憶體的強大系統。

注意：獵鷹 (Falcon) 180B 的發布許可證與其較小的同系列模型不同，該許可證限制在特定條件下的商業用途。有關更多資訊，請參閱模型詳細資訊和許可證。

更多資訊

Falcon is a family of high-performing large language models model built by the Technology Innovation Institute (TII), a research center part of Abu Dhabi government’s advanced technology research council overseeing technology research.

### CLI

```
ollama run falcon "Why is the sky blue?"
```

### API

```
curl -X POST https://127.0.0.1:11434/api/generate -d '{
  "model": "falcon",
  "prompt": "Why is the sky blue?"
}'
```

## Parameter counts
| Parameter Count | Recommended memory |                              |                          |
| --------------- | ------------------ | ---------------------------- | ------------------------ |
| 7 billion       | 8GB               | [View](/library/falcon:7b)   | `ollama run falcon:7b`   |
| 40 billion      | 32GB               | [View](/library/falcon:40b)  | `ollama run falcon:40b`  |
| 180 billion     | 192GB              | [View](/library/falcon:180b) | `ollama run falcon:180b` |

## Variations

|            |                                                                                                                                    |
| ---------- | ---------------------------------------------------------------------------------------------------------------------------------- |
| `chat`     | Chat models are fine-tuned on chat and instruction datasets with a mix of several large-scale conversational datasets.             |
| `instruct` | Instruct models follow instructions and are fine-tuned on the [baize](https://www.google.com/search?q=baize+dataset&oq=baize+data&aqs=chrome.0.0i512j69i57j0i10i15i22i30i625j0i390i650.1387j0j7&sourceid=chrome&ie=UTF-8) instructional dataset.                                                     |
| `text`     | Text models are the base foundation model without any fine-tuning for conversations, and are best used for simple text completion. |

## Falcon 180B

As of September 2023, the 180 billion parameter model, Falcon 180B, is the best-performing openly released LLM. It sits somewhere in between OpenAI's GPT 3.5 and GPT 4. For running Falcon 180B, a powerful system is recommended with at least 192GB of total memory.

> Note: Falcon 180B is released under a different license than its smaller siblings that restricts commercial use under certain conditions. See the [model details](/library/falcon:180b) and license for more information.

## More information

* [TII's website](https://www.tii.ae/)
* [Falcon 180B announcement](https://falconllm.tii.ae)
* [TII on HuggingFace](https://huggingface.co/tiiuae)

貼上、拖放或點擊以上傳圖片 (.png, .jpeg, .jpg, .svg, .gif)