← 返回 AI 开源导航

Clip

图像生成

GitHub 仓库

一、项目简介

CLIP 是 OpenAI 开源的图文对比学习模型，把图像与文本映射到同一向量空间，从而实现零样本图像分类与跨模态检索。它是文生图（如 Stable Diffusion）与多模态检索的重要基石。

二、核心特性

  • 图文统一向量空间：图像与文本可直接比较；
  • 零样本分类：用文本描述即可分类；
  • 跨模态检索：以文搜图、以图搜文；
  • 开源实现丰富（含 OpenCLIP）；
  • 广泛集成：CLIP 常作为文生图的文本编码器；
  • 多语言变体可用。

三、适用场景

  • 图文检索与相似匹配；
  • 零样本图像分类与内容审核辅助；
  • 多模态 RAG 的向量化环节。

四、快速上手

pip install transformers torch pillow
from transformers import CLIPProcessor, CLIPModel
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
proc  = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

五、注意事项

  • 原生 CLIP 以英文为主，中文场景需用多语言/中文变体；
  • 向量需归一化后再计算相似度；
  • 注意模型许可与数据合规。