TinyLlama 專案是一個開放的嘗試,旨在訓練一個緊湊的 1.1B Llama 模型,使用 3 兆個 tokens。

1.1b

1.3M 13 個月前

讀我

TinyLlama 是一個僅有 1.1B 參數的緊湊模型。 這種緊湊性使其能夠滿足大量需要受限計算和記憶體佔用空間的應用。

參考文獻

Hugging Face

GitHub