Blip2

一、项目简介

BLIP-2 是 BLIP 的升级版本，通过轻量的 Q-Former 模块把冻结的视觉编码器与冻结的大语言模型桥接起来，在极低训练成本下实现强大的图文理解与生成能力。

二、核心特性

• Q-Former 桥接：连接视觉与语言模态；
• 冻结双塔：图像编码器与 LLM 均不训练，成本低；
• 效果强大：接近更大规模模型表现；
• 支持多 LLM：可替换不同语言模型；
• 开源权重；
• 零样本能力出色。

三、适用场景

• 视觉语言理解与对话；
• 图文问答与内容分析；
• 多模态研究与原型开发。

四、快速上手

pip install transformers torch pillow
from transformers import Blip2Processor, Blip2ForConditionalGeneration
proc  = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2ForConditionalGeneration.from_pretrained(...)

五、注意事项

• 需较大显存（尤其接大模型时）；
• 图像预处理与提示词影响输出；
• 注意许可与合规使用。