Ollama

一、项目简介

Ollama 是一个让你在个人电脑上轻松运行开源大语言模型的框架。它把模型下载、量化、加载与推理服务的复杂性封装成简单命令，开发者无需关心 CUDA、权重格式等细节，一条 ollama run 即可开始对话。

二、核心特性

• 开箱即用：一条命令下载并运行模型，自动缓存管理；
• 模型丰富：支持 Llama、Qwen、DeepSeek、Mistral、Gemma、Phi 等主流开源模型；
• OpenAI 兼容 API：默认监听 11434 端口，现有 OpenAI SDK 应用可零改造接入；
• 自动量化适配：依据硬件自动选择量化版本，CPU / GPU 均可运行；
• Modelfile：可自定义系统提示、温度、top_p 及模型组合；
• 跨平台：macOS、Linux、Windows（预览版）。

三、适用场景

• 本地开发调试与原型验证；
• 数据隐私敏感、需离线运行的场景；
• 教学演示与个人助手。

四、快速上手

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5:7b            # 下载并进入对话
ollama list                      # 查看已装模型

调用 API：

curl http://localhost:11434/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"你好"}]}'

五、注意事项

• 定位是「本地 / 单机」，高并发生产环境建议用 vLLM 或 TGI；
• 7B 模型量化后约 4–6GB，需留意内存 / 显存；
• API 默认只监听本机，远程访问需配置 OLLAMA_HOST。