Minions:本地端與雲端 LLM 的交會之處

February 25, 2025

來自 Christopher Ré 的 Stanford Hazy Research 實驗室的 Avanika Narayan、Dan Biderman 和 Sabri Eyuboglu,連同 Avner May、Scott Linderman、James Zou,開發了一種方法,透過讓裝置上的小型模型(例如搭配 Ollama 的 Llama 3.2)與雲端中較大型的模型(例如 GPT-4o)協作,將大部分 LLM 工作負載轉移到消費者裝置上。

結構化輸出

December 6, 2024

Ollama 現在支援結構化輸出,使其能夠將模型的輸出限制為 JSON schema 定義的特定格式。Ollama Python 和 JavaScript 函式庫已更新以支援結構化輸出。

Ollama Python 函式庫 0.4 版本,功能呼叫功能獲得提升

November 25, 2024

透過 Ollama Python 函式庫 0.4 版本,現在可以將函式作為工具提供。該函式庫現在也具備完整的型別支援,並新增了範例。

Llama 3.2 Vision

November 6, 2024

Llama 3.2 Vision 11B 和 90B 模型現已於 Ollama 上提供。

IBM Granite 3.0 模型

October 21, 2024

Ollama 與 IBM 合作,將 Granite 3.0 模型引入 Ollama。

Llama 3.2 變得更小巧且具備多模態

September 25, 2024

Ollama 與 Meta 合作,將 Llama 3.2 引入 Ollama。

透過 Bespoke-Minicheck 減少幻覺

September 18, 2024

Bespoke-Minicheck 是 Bespoke Labs 開發的新型具備根據事實的真實性檢查模型,現已於 Ollama 上提供。它可以對其他模型產生的回應進行事實查核,以偵測並減少幻覺。

工具支援

July 25, 2024

Ollama 現在支援使用熱門模型(例如 Llama 3.1)進行工具呼叫。這讓模型能夠使用它所知的工具來回答給定的提示,使模型能夠執行更複雜的任務或與外部世界互動。

Google Gemma 2

June 27, 2024

Gemma 2 現已於 Ollama 上提供 3 種尺寸 - 2B、9B 和 27B。

編輯器內完全開源的 AI 程式碼助理

May 31, 2024

Continue 讓您能夠直接在 Visual Studio Code 和 JetBrains 內,使用開源 LLM 輕鬆建立自己的程式碼助理。

Google 宣布推出 Firebase Genkit 並支援 Ollama

May 20, 2024

在 Google IO 2024 大會上,Google 宣布 Firebase Genkit 支援 Ollama,Firebase Genkit 是一個新的開源框架,供開發人員建構、部署和監控可供生產環境使用的 AI 驅動應用程式。

Llama 3 並未受到太多審查

April 19, 2024

與 Llama 2 相比,Llama 3 的審查感明顯降低。Meta 大幅降低了錯誤拒絕率。Llama 3 將拒絕的提示數量不到 Llama 2 先前拒絕提示數量的 1/3。

Llama 3

April 18, 2024

Llama 3 現在可在 Ollama 上執行。此模型是 Meta 最先進大型語言模型的下一代,也是迄今為止功能最強大的公開可用 LLM。

Embedding 模型

April 8, 2024

Embedding 模型已於 Ollama 上提供,讓使用者能夠輕鬆產生向量嵌入,以用於搜尋和檢索增強生成 (RAG) 應用程式。

Ollama 現在支援 AMD 顯示卡

March 14, 2024

Ollama 現在在 Windows 和 Linux 上以預覽版形式支援 AMD 顯示卡。Ollama 在 Linux 和 Windows 上的所有功能現在都可以透過 AMD 顯示卡加速。

Windows 預覽版

February 15, 2024

Ollama 現在以預覽版形式於 Windows 上提供,讓使用者能夠在全新的原生 Windows 體驗中提取、執行和建立大型語言模型。Windows 版 Ollama 包含內建 GPU 加速、存取完整的模型庫,並提供 Ollama API(包括 OpenAI 相容性)。

OpenAI 相容性

February 8, 2024

Ollama 現在初步相容於 OpenAI Chat Completions API,讓使用者能夠透過 Ollama 將現有為 OpenAI 建構的工具與本地模型搭配使用。

Vision 模型

February 2, 2024

現在推出新的視覺模型:LLaVA 1.6,提供 7B、13B 和 34B 參數尺寸。這些模型支援更高解析度的影像、更優異的文字辨識和邏輯推理能力。

Python 和 JavaScript 函式庫

January 23, 2024

Ollama Python 和 JavaScript 函式庫的初始版本現已推出,讓使用者能夠輕鬆地將 Python 或 JavaScript 或 Typescript 應用程式與 Ollama 整合,只需幾行程式碼即可完成。這兩個函式庫都包含 Ollama REST API 的所有功能,設計風格熟悉,並與新舊版本的 Ollama 相容。

使用用戶端技術建構 LLM 驅動的 Web 應用程式

October 13, 2023

使用開源、本地端執行的軟體重現 LangChain 最受歡迎的用例之一 - 一個執行檢索增強生成(簡稱 RAG)的鏈,讓您可以「與您的文件聊天」

Ollama 現在以官方 Docker 映像檔形式提供

October 5, 2023

Ollama 現在可以在 Mac 上與 Docker Desktop 一起執行,並在 Linux 上於 Docker 容器內以 GPU 加速方式執行。

在 Obsidian 筆記中運用 LLM

September 21, 2023

這篇文章逐步說明如何將使用 Ollama 的本地 LLM 整合到 Obsidian 或任何筆記工具中。

如何提示 Code Llama

September 9, 2023

本指南逐步說明如何為 Code Llama 及其不同的變體和功能(包括指令、程式碼完成和填空中間 (FIM))建構提示的不同方法。

在本地端執行 Code Llama

August 24, 2023

Meta 的 Code Llama 現已於 Ollama 上提供試用。

在本地端執行未經審查的 Llama 2

August 1, 2023

這篇文章將提供一些範例比較,比較執行未經審查的 Llama 2 模型與其經過審查的模型。