如何评价谷歌的 CoCa，在 ImageNet 上达到新的 SOTA：91.0%？

如何评价谷歌的 CoCa，在 ImageNet 上达到新的 SOTA：91.0%？

2022.06.07更新：

CoCa作者详细阐述了该论文和ALBEF方法的不同点，并且受到了ALBEF一作的认可。下面摘录一下CoCa作者的阐述，供大家参考和学习。

（CoCa作者大佬们很负责，很及时地反馈，认真严谨的科研态度值得学习。一份工作更需要专业的审稿人来评价，希望我之前的答案不会给大家带来过多的误解）

—————————

2022.06.06更新：

CoCa的作者联系到了我，了解到了更多情况。很久之前，CoCa作者就已经和 ALBEF 论文的一作取得了联系，相关的修改正在路上，将很快在新版的Arxiv上进行更新。

CoCa本身就是作为preprint提前发表在Arxiv上，而非正式发表，难免存在疏忽。提前发表也是为了获得更多反馈，继续完善。相信下一版会是更加完善的版本。

————————

原回答：

说实话，相比于前人方法（ALBEF [1]），我认为方法上缺乏novelty，而且没有引用前人工作。

先看一下CoCa的框架：

再看看CoCa论文claim的核心设计："we unify single-encoder, dual-encoder and encoder-decoder paradigms, and train one image-text foundation model", "We propose a simple model family named Contrastive Captioners (CoCa) with a modified encoder-decoder architecture trained with both contrastive loss and captioning (generative) loss."

我想说这不就是"align before fuse"那篇论文的核心设计吗？先用contrastive loss进行对齐，然后再使用一个decoder，使用cross-attention进行特征融合然后text decoding。下面是ALBEF论文的主要框架：

参考文献：

[1] Align before Fuse: Vision and Language Representation Learning with Momentum Distillation. In NeurIPS, 2021.