预训练周第33期:预训练语言模型的高效分层适应

本期选取了9篇与预训练相关的论文，涉及词汇迁移、常识问答、多模态训练、分层训练、比较学习、图像分割、图形模型、蛋白质的作用以及免疫特征表达的探索。此外，在研究动态方面，我们选取了两条前期训练信息，会介绍一些大型模型比赛和视觉算法年度回顾的最新内容。最后，在资源推荐方面，我们选取了1的前期训练资源，这些资源会介绍一些跨语言文摘的最新内容。

本期撰稿人:沈德洲、翟科、吴新刚

论文推荐

题目:俄罗斯Yandex，脸书等|微调变形金刚:人声传递(微调变形金刚:词汇传递)

引言:本文讨论了微调下游任务的庞大预训练模型所引发的迁移学习的探索之一:词汇迁移。Transformer已经成为自然语言处理最新发展中的绝对主流。这些模型的大多数实际自然语言处理应用通常是通过迁移学习来实现的。本文研究了针对特定语料的标注是否会提高模型的最终性能。通过一系列的词汇优化和迁移实验，作者证明了这种词汇优化和迁移策略可以提高作者称之为模型的性能:这种词汇迁移的方向在迁移学习领域已经开创。

论文地址:“链接”

题目:加州大学|完形填空翻译和一致性优化的零投常识问答。

引言:本文以常识问答(CQA)为方向，研究预训练语言模型中的知识抽取。作者侧重于更好地利用预训练语言模型中存储的知识。虽然研究人员发现，通过填补精心设计的关系提取和文本分类提示的空白，可以提取预训练语言模型中嵌入的知识，但尚不清楚作者是否可以在输入和输出形式更灵活的CQA采用这种范式。因此，作者研究了四种可以将自然问题翻译成完形填空句子的翻译方法，以便更好地从语言模型中获取共同知识，包括基于句法的模型、无监督神经模型和两种有监督神经模型。此外，为了结合不同的翻译方法，作者建议鼓励使用未标记数据来预测不同翻译问题的一致性。在三个CQA数据集上的实验证明了该方法的有效性。

论文地址:“链接”

标题:威斯康星大学，微软等|区域剪辑:基于区域的语言-图像预训练。

引言:本文研究了基于图像区域识别的语言图像预训练模型。图像预训练(CLIP)是一种“图文对”的对比语言，在零样本图像分类和迁移学习中取得了令人瞩目的成绩。然而，作者表明，直接应用该模型来识别用于对象检测的图像区域将导致较差的性能，因为域偏移:CLIP被训练为将图像作为一个整体与文本描述进行匹配，而没有捕获图像之间的细粒度对齐区域和文本跨度。为了缓解这一问题，作者提出了一种新的方法，称为RegionCLIP，该方法显著扩展了CLIP来学习区域视觉表示，从而实现图像区域和文本概念之间的细粒度对齐。作者的方法使用CLIP模型将图像区域与模板标题匹配，然后预训练作者的模型以在特征空间中对齐这些区域-文本对。当作者的预训练模型转移到开放词汇对象检测任务时，作者的方法在COCO和LVIS数据集上分别明显优于现有技术3.8 AP50和2.2 AP。

论文地址:“链接”

代码地址: