TinyLlama 專案是一個開放的嘗試,旨在以 3 兆個 tokens 訓練一個精巧的 1.1B Llama 模型。

1.1b

1.3M 14 個月前

說明文件

TinyLlama 是一個精巧的模型,僅有 1.1B 參數。這種精巧性使其能夠滿足眾多需要受限計算和記憶體佔用空間的應用程式。

參考

Hugging Face

GitHub