{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}

Clip

OpenAI 连接视觉与语言的模型。支持零样本图像分类、图文匹配和跨模态检索。在 4 亿图文对上训练而成。可用于图像搜索、内容审核或视觉语言任务，无需微调。最适合通用图像理解场景。

Skill 元数据


来源	可选 — 通过 `hermes skills install official/mlops/clip` 安装
路径	`optional-skills/mlops/clip`
版本	`1.0.0`
作者	Orchestra Research
许可证	MIT
依赖项	`transformers`, `torch`, `pillow`
平台	linux, macos, windows
标签	`Multimodal`, `CLIP`, `Vision-Language`, `Zero-Shot`, `Image Classification`, `OpenAI`, `Image Search`, `Cross-Modal Retrieval`, `Content Moderation`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 skill 激活时 agent 所看到的指令内容。

CLIP - 对比语言图像预训练（Contrastive Language-Image Pre-Training）

OpenAI 推出的能够通过自然语言理解图像的模型。

何时使用 CLIP

适用场景：

零样本图像分类（无需训练数据）

图文相似度/匹配

语义图像搜索

内容审核（检测 NSFW、暴力内容）

视觉问答

跨模态检索（图像→文本、文本→图像）

指标：

GitHub 25,300+ 星

在 4 亿图文对上训练

零样本下在 ImageNet 上与 ResNet-50 持平

MIT 许可证

以下情况请使用替代方案：

BLIP-2：更好的图像描述生成

LLaVA：视觉语言对话

Segment Anything：图像分割

快速开始

安装

零样本分类

可用模型

模型	参数量	速度	质量
RN50	102M	快	良好
ViT-B/32	151M	中等	更好
ViT-L/14	428M	慢	最佳

图文相似度

语义图像搜索

内容审核

批量处理

与向量数据库集成

最佳实践

大多数场景使用 ViT-B/32 — 性能与速度均衡

归一化 embedding（嵌入向量） — 余弦相似度计算必须归一化

批量处理 — 效率更高

缓存 embedding — 重新计算代价较高

使用描述性标签 — 零样本性能更好

推荐使用 GPU — 速度提升 10–50 倍

预处理图像 — 使用提供的 preprocess 函数

性能

操作	CPU	GPU (V100)
图像编码	~200ms	~20ms
文本编码	~50ms	~5ms
相似度计算	<1ms	<1ms

局限性

不适合细粒度任务 — 最适合宽泛类别

需要描述性文本 — 模糊标签效果差

网络数据偏差 — 可能存在数据集偏差

无边界框 — 仅处理整张图像

空间理解有限 — 位置/计数能力较弱

资源

GitHub: https://github.com/openai/CLIP ⭐ 25,300+

论文: https://arxiv.org/abs/2103.00020

Colab: https://colab.research.google.com/github/openai/clip/

许可证: MIT

"Clip — OpenAI 连接视觉与语言的模型"

Clip#

Skill 元数据#

参考：完整 SKILL.md#

CLIP - 对比语言图像预训练（Contrastive Language-Image Pre-Training）#

何时使用 CLIP#

快速开始#

安装#

零样本分类#

可用模型#

图文相似度#

语义图像搜索#

内容审核#

批量处理#

与向量数据库集成#

最佳实践#

性能#

局限性#

资源#

Clip

Skill 元数据

参考：完整 SKILL.md

CLIP - 对比语言图像预训练（Contrastive Language-Image Pre-Training）

何时使用 CLIP

快速开始

安装

零样本分类

可用模型

图文相似度

语义图像搜索

内容审核

批量处理

与向量数据库集成

最佳实践

性能

局限性

资源