← 返回 AI 开源导航

Koboldcpp

LLM 推理与部署

GitHub 仓库

一、项目简介

KoboldCpp 是易用的本地大语言模型运行工具，基于 llama.cpp 构建，提供一个「一键启动」的 Web 界面与兼容 API。它内置了面向故事创作、角色扮演的辅助功能，是把开源模型跑在个人电脑上的低门槛方案。

二、核心特性

  • 基于 llama.cpp：继承其高效 CPU / GPU 推理能力；
  • 一键启动：下载即用，免去复杂环境配置；
  • 内置 Web UI 与 API：可直接对话或对接应用；
  • 故事 / 角色辅助：面向创作场景的功能；
  • 支持 GPU 卸载：把部分层放到显卡加速；
  • 跨平台：Windows / Linux / macOS。

三、适用场景

  • 本地写作助手与灵感辅助；
  • 角色扮演与互动叙事；
  • 离线环境下的日常对话。

四、快速上手

# 下载对应平台的可执行文件后运行
./koboldcpp-linux-x64 --model /path/to/model.gguf
# 浏览器打开提示的地址即可使用

五、注意事项

  • 模型体积大，注意磁盘空间与内存；
  • GPU 卸载层数需按显存调整，避免溢出；
  • 对话内容仅存本地，注意设备安全。