← 返回 AI 开源导航

Minigpt 4

LLM 推理与部署

GitHub 仓库

一、项目简介

MiniGPT-4 是开源的轻量多模态模型，通过一个投影层把视觉编码器（如 ViT）与大语言模型（如 Vicuna）连接起来，以较小代价复现类似 GPT-4V 的图文对话与理解能力。

二、核心特性

  • 轻量桥接：仅训练投影层，成本低；
  • 图文对话：支持看图问答与描述；
  • 开源可复现；
  • 基于 Vicuna / BLIP-2 等组件；
  • 易部署；
  • 社区活跃。

三、适用场景

  • 图像理解与描述生成；
  • 图文混合问答；
  • 多模态应用原型。

四、快速上手

git clone https://github.com/Vision-CAIR/MiniGPT-4
cd MiniGPT-4 && pip install -r requirements.txt
# 按 README 配置 Vicuna 权重与 checkpoint

五、注意事项

  • 需准备底座 LLM 权重，流程略繁琐；
  • 效果不及商用多模态模型；
  • 注意各组件的许可限制。