
【导读】美国时间3月27日,计算机协会(ACM)公布了2018年图灵奖得主,他们是在深度学习领域的三位巨头:YoshuaBengio、GeoffreyHinton和YannLeCun。由于他们三十年始终如一的坚持,从基础技术研究到近几年的工程应用,使得深度学习也成为医疗、天文、材料科学等领域的科学家研究的新型工具。AI的快速发展离不开基础研究的源头突破,在此向三位贡献者致敬!
十年中图灵奖第三次授予机器学习领域研究者
当地时间3月27日,计算机协会的官方公告宣布,因在深度神经网络概念和工程上的突破,YoshuaBengio、GeoffreyHinton和YannLeCun三位学者使得DNN成为计算的一个重要构成,从而成为2018年图灵奖得主。
这是图灵奖十年来第三次颁给机器学习领域的杰出贡献者了:2011年图灵奖得主为JudeaPearl,他开发的概率与因果推理微积分(calculusforprobabilisticandcausalreasoning)为人工智能发展做出了重大贡献。LeslieGabrielValiant获得了2010年图灵奖,他为计算理论的发展作出了变革性贡献,包括PAC学习理论、并行与分布计算理论等。
相信读者对这三位巨头的名字已经耳熟能详。
YoshuaBengio是蒙特利尔大学教授、魁北克人工智能机构Mila的科学主管。GeoffreyHinton是谷歌副总裁、工程研究员,也是VectorInstitute的首席科学顾问、多伦多大学Emeritus荣誉教授。YannLeCun是纽约大学教授、Facebook副总裁和首席AI科学家。
或是独立或是协作,Hinton、LeCun和Bengio开发了深度学习领域的概念基础,并通过实验验证了令人惊讶的现象,此外,他们还贡献了一些工程进展,展示了深度神经网络的实用优势。近年来,深度学习方法促进计算机视觉、语音识别、自然语言处理和机器人技术等应用领域取得极大突破。
30年来不惧质疑,人工神经网络成为主导范式
虽然在20世纪80年代,研究者就引入了人工神经网络帮助计算机识别模式、模拟人类智能,但一直到21世纪初,LeCun、Hinton和Bengio这样一小撮研究者仍然坚持这种方法。虽然一开始,他们重燃人工智能社区对神经网络兴趣的努力遭到了怀疑,但如今他们的想法带来了重大的技术进步,他们的方法也已成为该领域的主导范式。
图灵奖是计算机协会(ACM)于1966年设立的奖项,专门奖励对计算机事业作出重要贡献的个人,有「计算机界诺贝尔奖」之称,奖金为100万美元,由谷歌公司赞助。图灵奖的名称取自英国数学家艾伦·图灵(),他奠定了计算机的数学基础和局限性。
ACM主席表示,“人工智能如今是整个科学界发展最快的领域之一,也是社会上讨论最广的主题之一。AI的发展、人们对AI的兴趣,很大程度上是因为深度学习的近期进展,而Bengio、Hinton和LeCun为此奠定了重要基础。”这些技术如今已被数十亿人使用。通过口袋中的手机,人们能够体验到10年前不可能体验的自然语言处理和计算机视觉技术。除了我们每天使用到的产品,深度学习的最新进展也为医疗、天文、材料科学等各个领域的科学家们带来了强大的新型工具。
“深度神经网络促进了现代计算机科学的极大进步,在解决计算机视觉、语音识别和自然语言处理领域中的长期问题方面取得了极大进展。”GoogleAI负责人JeffDean表示,“该进展的核心得益于今年图灵奖得主YoshuaBengio、GeoffreyHinton和YannLeCun30多年前开发的基础技术。深度神经网络显著提升了计算机感知世界的能力,它不仅改变了计算领域,也几乎改变了科学和人类奋斗的所有领域。”
图灵奖,全称“图灵奖()”,被称为“诺贝尔计算机奖”,由谷歌提供财务支持,奖金为100万美元
从机器学习、神经网络到深度学习,三人协作中彼此影响
传统计算中,计算机程序使用明确的一步步指令指引计算机。而在深度学习这一AI研究子领域中,计算机并未得到关于如何解决特定任务的显式说明。深度学习使用学习算法从数据中提取输入数据与期望输出的关联模式,比如输入数据为图像像素,输出为标签“猫”。研究者面临的挑战是开发出高效的学习算法,修改神经网络中连接的权重以使它能够捕捉到数据中的关联模式。
自20世纪80年代开始,GeoffreyHinton就开始提倡使用机器学习方法进行人工智能研究,他希望通过人脑运作方式探索机器学习系统。受人脑的启发,他和其他研究者提出了“人工神经网络(artificialneuralnetwork)”,为机器学习研究奠定了基石。
在计算机科学领域,“神经网络”指由多个简单计算元素(神经元)层所组成的系统。这些“神经元”仅仅大致地模仿了人脑中的神经元,但却能通过加权连接互相影响。通过改变连接的权重来改变神经网络所执行的计算。Hinton、LeCun和Bengio认识到使用多层深度网络的重要性,即“深度学习”。
由于GPU计算机的普及和海量数据的获取,Hinton、LeCun和Bengio在30年中所奠定的概念基础和工程实践得到了极大提升。近年来,多种因素导致计算机视觉、语音识别和机器翻译等技术出现了跳跃式发展。
Hinton、LeCun和Bengio也曾合作过。LeCun曾在Hinton的指导下完成博士后工作,20世纪90年代,LeCun和Bengio都在贝尔实验室工作。即使不在一起工作的时候,他们的研究中也存在协同和相互关联性,他们对彼此产生了巨大的影响。
这三位大牛目前继续探索机器学习与神经科学和认知科学之间的交叉领域,最著名的是他们共同参与了加拿大高级研究所(CIFAR)的“机器与大脑学习计划(LearninginMachinesandBrainsprogram)”。
三人除了AI技术的突破,成果并不限于此
今年图灵奖得主的技术成就带来了AI技术的极大突破,包括但不限于以下成果。
GeoffreyHinton
ACM表示GeoffreyEHinton主要有三大重要贡献:
●反向传播
●玻尔兹曼机
●对卷积神经网络的修正
在1986年的一篇论文中,Hinton与DavidRumelhart和RonaldWilliams提出了反向传播,这篇论文即著名的《LearningInternalRepresentationsbyErrorPropagation》。Hinton等研究者表示反向传播算法允许神经网络探索数据内部的深层表征,因此神经网络才能解决以前被认为无法解决的问题。反向传播目前已经成为训练深度神经网络所必需的算法。
1983年,Hinton和TerrenceSejnowski提出了玻尔兹曼机,它是第一个能学习神经元内部表征的深度神经网络,这种表征既不是输入也不是输出的一部分。
到了2012年,Hinton与他的学生AlexKrizhevsky和IlyaSutskever为卷积神经网络的发展做出了重要贡献。他们率先使用修正线性神经元(ReLU)和Dropout正则化大大提升了深度卷积神经网络的性能。在当年的ImageNet竞赛中,Hinton和他的学生几乎将图像识别的误差率减半,这一次挑战赛重塑了计算机视觉领域。
YoshuaBengio
ACM表示YoshuaBengio主要有三大重要贡献:
●序列的概率建模
●高维词嵌入与注意力机制
●生成对抗网络
在上个世纪九十年代,Bengio提出将神经网络与序列的概率建模相结合,例如隐马尔可夫模型这种序列的概率建模方法。这些创新观点被ATT/NCR所接受,并用于阅读手写支票,该系统被认为是九十年代神经网络研究的巅峰之作,现代基于深度学习的语音识别系统都是在这些概念上继续扩展的。
在2000年,Bengio等研究者发表了一篇具有里程碑意义的论文《ANeuralProbabilisticLanguageModel》,该论文引入了高维词嵌入作为词义的表征方法。Bengio的观点对自然语言处理任务产生了巨大而持久的影响,包括机器翻译、知识问答、视觉问答等等。他的研究团队还提出了一种注意力机制,该方法直接导致了机器翻译领域的突破,并构成了深度学习序列建模的关键组成部分。
YannLeCun
ACM表示YannLeCun主要有三大重要贡献:
●提出卷积神经网络
●改进反向传播算法
●拓宽神经网络的视角
20世纪80年代,LeCun构建了卷积神经网络,这是该领域的一项重要理论,对于提高深度学习效率至关重要。20世纪80年代后期,LeCun就职于多伦多大学和贝尔实验室,也是在这一时期,它利用手写数字图像训练了第一个卷积神经网络系统。如今,卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。卷积神经网络有着广泛的应用,如自动驾驶、医学图像分析、语音助手和信息过滤等。
改进反向传播算法,LeCun提出了一个早期版本的反向传播算法(backprop),并基于变分原理给出了一个清晰的推导。他加速反向传播算法的工作包括描述加快学习速度的两个简单方法。
LeCun的贡献还包括拓宽神经网络的研究视角,他将神经网络发展为一种计算模型,用到一系列任务中,他早期工作中的一些概念已成为AI发展的基石。例如,在图像识别领域,他研究了如何在神经网络中学习分层特征表征——这一概念现在经常用于许多识别任务。他和LeonBottou一起提出:学习系统可以被构建为复杂的模块网络,在这个网络中,反向传播通过自动微分来执行,这一理念用在每一个现代深度学习软件中。他们还提出了可以处理结构化数据的深度学习架构,如“图(graph)”。