Facebook 爆锤深度度量学习:该领域13年来并无进展!网友:沧海横流,方显英雄

 人工智能技术     |      2020-05-15 16:08

作者 |蒋宝尚编辑 | 贾伟

近日,Facebook AI 和 Cornell Tech 的研究人员近期发表研究论文预览文稿,声称近十三年深度度量学习(deep metric learning) 领域的目前研究进展和十三年前的基线方法(Contrastive, Triplet) 比较并无实质提高,近期发表论文中的性能提高主要来自于不公平的实验比较, 泄露测试集标签,以及不合理的评价指标。

也就是说:新出的ArcFace, SoftTriple, CosFace 等十种算法与十三年前的依赖成对或成三元组的损失函数并没有本质上的区别。

FB和康奈尔科技此论无疑是对深度度量学习过去十三年研究成果盖棺定论,斩钉截铁表示,虽然深度度量学习非常重要,但是学界这些年一直在灌水。

损失函数对度量学习很重要

论文下载地址:https://arxiv.org/pdf/2003.08505.pdf

在综述论文开头,FB和康奈尔先肯定了深度度量学习的重要性,他们表示:深度度量学习已成为近年来机器学习最具吸引力的研究领域之一,如何有效的度量物体间的相似性成为问题的关键。

度量学习试图将数据映射到一个嵌入空间,在这个空间中,相似的数据靠得很近,类型不同的数据离的很远。而映射的方式可以通过嵌入损失和分类损失实现,这两种方式各有特点,嵌入损失是根据一批样本之间的关系来操作,而分类损失包括一个权重矩阵,将嵌入空间转化为类logits向量。

在一些适用分类损失的任务下,当任务是信息检索的某个变体时,通常使用嵌入方法,目标是返回与查询最相似的数据。例如图像搜索:输入是查询图像,输出是数据库中视觉上最相似的图像。

然后,在某些情况下无法使用分类损失。例如,在构建数据集时,为每个样本分配类别标签可能很困难或成本很高,并且可能更容易以配对或三元组关系的形式指定样本之间的相对相似性。另外,样本对( pair ) 或者样本三元组(triplets)还可以为现有数据集提供额外的训练信号。所以在这两种情况下都没有显式标注,因此嵌入损失成为合适的选择。

换句话说损失函数在度量学习中起到了非常重要的作用。很多深度度量学习的损失函数构建在样本对( pair ) 或者样本三元组 ( triplet ) 之上。随着深度学习在众多领域出色表现,逐渐这种方法对度量学习产生了影响,于是度量学习将深度学习方法结合了起来,产生了一个新的领域,即深度度量学习。


  • 共4页:
  • 上一页
  • 1
  • 2
  • 3
  • 4
  • 下一页