← 返回 AI 开源导航

Text Generation WebUI

LLM 推理与部署协议 AGPL-3.0★ 47.7kPython

GitHub 仓库官方网站

一、项目简介

Text Generation WebUI（oobabooga）是功能最全面的本地大模型 Web 界面，支持多种模型加载器与量化格式，扩展生态丰富。如果你想在同一界面里对比不同量化方案、折腾各类模型，它是首选。

二、核心特性

  • 多加载器：Transformers、llama.cpp、ExLlamaV2、AutoGPTQ 等；
  • 多量化格式：GGUF、GPTQ、AWQ、EXL2；
  • 扩展丰富：语音、翻译、长上下文、API 等插件；
  • 参数精细：采样、温度、惩罚、LoRA 加载；
  • API 支持：可对外提供 OpenAI 兼容接口；
  • 多界面模式：chat / notebook / default。

三、适用场景

  • 本地模型部署与参数调优；
  • 多种量化格式效果对比；
  • 搭建带插件的个人 AI 工作台。

四、快速上手

git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui && ./start_linux.sh
# 访问 http://127.0.0.1:7860

五、注意事项

  • 配置项多，需按硬件选加载器，否则显存溢出；
  • 更新频繁，插件兼容性需留意；
  • 仅适合本地/内网，公网暴露需加防护。