Blip

一、项目简介

BLIP 是 Salesforce 开源的视觉-语言预训练模型，统一了图像理解与文本生成任务，在图像描述（Captioning）、视觉问答（VQA）与图文检索上表现优秀，是多模态方向的经典工作。

二、核心特性

• 图文统一建模：理解与生成任务统一框架；
• 图像描述生成：自动为图片生成文字说明；
• 视觉问答（VQA）；
• 图文检索：支持跨模态匹配；
• 开源权重与代码；
• 零样本迁移能力强。

三、适用场景

• 图像自动描述与标注；
• 视觉问答系统；
• 图文跨模态检索。

四、快速上手

pip install transformers torch pillow
from transformers import BlipProcessor, BlipForConditionalGeneration
proc = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained(...)

五、注意事项

• 大模型推理需较多显存；
• 输入图像需按模型要求预处理；
• 注意模型许可与内容合规。