原文链接：[Learning Transferable Visual Models From Natural Language Supervision]

前言

• 迁移学习能力非常好，在很多图片分类任务上zero-shot推理做的非常好、
• 怎么训练的呢？在文字和图片上进行对比学习，需要大量的数据
• 没有分类头，摆脱了category label的限制
• 利用了自然语言的监督信号

Abstract

• SOTA的模型都是已经有定义好的固定类别，限制了模型的泛化能力
• 从自然语言里学习监督信号
• 数据集（图片-文本对）大小为4亿
• 分类可以迁移到新的类别，在30个实验上表现的很好

Introduction

• 推进了前面的几个类似工作，CLIP的规模更大：数据规模大，模型规模大
• CLIP：Contrastive Language-Image Pre-training
• 视觉方面尝试了8个模型，发现模型越大，迁移学习的效果会更好

Approach

• 方法的核心是利用自然语言的监督信号。

  好处：（1）数据更好收集，无需标注，且输入为图片-文本对，文本的自由度变大；（2）学习到的特征是多模态的特征，会很好地做zero-shot的迁移。

• 提出了数据集WebImageText。

• 预训练： 训练的效率对于多模态大模型至关重要。

  本文指出，作者们尝试了下面这个方法：视觉部分使用CNN，文本采用transformer，给定图片，让模型来预测它的caption，但是这个训练效率差且让模型来逐字逐句预测一个图片的描述很困难。

• **最终选择了对比学习：只需要判断文本和图片是否是配对的。**将这个预测性的任务替换成对比的任务，训练的效率提升了4倍。