注意：此模型需要 Ollama 0.5.5

C4AI Command R7B 是 70 億參數模型的開放權重研究版本，具有針對各種用例進行了最佳化的進階功能，包括推理、摘要、問答和程式碼。 該模型經過訓練，可以執行複雜的任務，包括檢索增強生成 (RAG) 和工具使用。 該模型還具有強大的代理能力，能夠在多個步驟中使用和組合多個工具來完成更困難的任務。 它在企業相關的程式碼用例中獲得了頂級效能。 C4AI Command R7B 是一個在 23 種語言上訓練的多語言模型。

模型詳細資訊

模型架構： 這是一個使用最佳化的 Transformer 架構的自迴歸語言模型。 經過預訓練後，此模型使用監督式微調 (SFT) 和偏好訓練，以將模型行為與人類對於 helpfulness（幫助性）和 safety（安全性）的偏好對齊。 該模型具有三層滑動窗口注意力（窗口大小 4096）和 ROPE，用於高效的本地上下文建模和相對位置編碼。 第四層使用沒有位置嵌入的全局注意力，從而實現整個序列中不受限制的 token 交互。

涵蓋語言： 該模型已在 23 種語言上進行訓練：英語、法語、西班牙語、義大利語、德語、葡萄牙語、日語、韓語、阿拉伯語、中文、俄語、波蘭語、土耳其語、越南語、荷蘭語、捷克語、印尼語、烏克蘭語、羅馬尼亞語、希臘語、印地語、希伯來語和波斯語。