Yoshua Bengio:注意力是“有意识”AI的核心要素

 人工智能技术     |      2020-05-15 16:08

作者 | 蒋宝尚

注意力机制或许是未来机器学习的核心要素。

在本周举办的ICLR 2020 上,图灵奖获得者Yoshua Bengio 在其特邀报告中着重强调了这一点。

目前注意力机制已是深度学习里的大杀器,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。

借鉴于人类的注意力机制,关注注意焦点,注意力机制是作为一种通用的思想出现的。

Bengio在其报告《与意识相关的深度学习先验》中提到,丹尼尔·卡尼曼的书《思考,快与慢》中指出人的认知系统有两类,一类是无意识(快系统)的,关键词是直觉、非语言、习惯;第二类是有意识的(慢系统),关键词是语言性、算法性,推理和计划。

Bengio指出,第二类认知系统允许对语义概念进行操纵、重组,这对于当前的人工智能和机器学习算法来说是一个非常渴望的特性。

但目前的机器学习方法还远没有从无意识发展到全意识,但是Bengio相信从“无”到“有”的转变完全可能,而注意力则是转变过程的核心要素之一。在报告中,Bengio提到,注意力机制每次都关注其中某几个概念并进行计算,因为意识先验及其相关的假设中,许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后,报告介绍了元学习,这种先验意识和代理视角下的表征学习,会更加有助于以新颖的方式,支持强大的合成泛化形式。

AI科技评论对演讲内容做了有删改的翻译整理,供大家参考:

Bengio:

此次报告的主题是深度学习的未来发展方向,特别是深度学习与意识的关系。其实神经科学对意识内容的研究在近几十年里已经有了很大的进展。

所以现在是机器学习考虑这些将意识加入模型的时候了。另一方面,这对意识的研究也有好处,能够在测试意识的特定假设功能以及正式化方面提供帮助,也能够让我们从意识中获得一些魔力,并理解意识的进化优势、计算和统计优势。

对于意识,丹尼尔·卡尼曼在《思考,快与慢》这本书中,对许多常见的现象如直觉、错觉、偏见等给出了科学解释,并介绍了“系统1,系统2”,描述了大脑的两种思维模式。


  • 共5页:
  • 上一页
  • 1
  • 2
  • 3
  • 4
  • 5
  • 下一页