AI现在还仅仅是“物理学出现之前的工程学”

科技评论网站日前发表文章，介绍了深度学习的发展趋势及其局限。虽然深度学习已经是当前的一股热潮，也取得了不少成果，但业界人士指出，目前的深度学习就像是物理学出现之前的工程学。以下为原文摘要：

人工智能（AI）领域的每一个进步，都有赖于30年前的一个突破。要保持AI进步的节奏，就需要突破这个领域的一些重大局限。

AI领域的爱因斯坦

矢量研究所（VectorInstitute）位于加拿大多伦多的市中心，将于今年秋天开业，它旨在成为全球AI中心舞台。美国和加拿大公司（比如谷歌（微博）、Uber和Nvidia）将在这个研究所赞助商业化AI技术的努力。

资金的涌入比该中心的联合创始人乔丹o雅各布斯（JordanJacobs）设想的更快。该中心另外两位联合创始人对多伦多地区的公司进行了调查，发现该地区对AI专家的需求，是加拿大每年培养的专家人数的10倍。全球正在兴起一股深度学习的热潮，而这个研究所希望站在这股潮流中心聚焦于这种技术，传授它，改进它，并且应用它。数据中心正在建设中，初创公司纷至沓来，学生们正在入场。

而深度学习之父乔弗里o辛顿（GeoffreyHinton）也住在多伦多。雅各布斯说：再过30年，我们回头来看，就会说辛顿是AI和深度学习领域的爱因斯坦。

辛顿的弟子们在苹果、Facebook和OpenAI主管AI实验室，辛顿自己是谷歌大脑（GoogleBrain）AI团队的首席科学家。事实上，AI的最近十年来的几乎每一个成就翻译、语音识别、图像识别和游戏玩法都和辛顿奠定的基础分不开。

深入学习的主要理念其实在30年前就已经提出。辛顿与同事戴维o罗姆哈特（DavidRumelhart）、罗兰德o威廉姆斯（RonaldWilliams）在1986年发表了一篇突破性的文章，详细阐述了一种称为反向传播的技术。用普林斯顿大学的计算心理学家乔o科恩（JonCohen）的话来说，这种技术是所有深度学习的基础。

这篇1980年代中期的文章介绍了如何训练多层次神经网络。它为近十年来AI领域的发展进步奠定了基础。

深度学习就是反向传播

如今从某种角度上说，AI就是深度学习，而深度学习就是反向传播。你可能感到不可思议，一个技术怎么蛰伏了这么长时间，KUKA机器人示教器维修，然后突然出现了爆发式的崛起。一个观点是：也许我们现在并不是处在一场革命的开始阶段，而是在进入它的尾声。

辛顿来自英国，曾在匹兹堡的卡内基梅隆大学工作，1980年代搬到了多伦多。他喜欢这座城市的氛围。

辛顿说，他最近在一个项目上取得了重大突破，找到了一个非常好的初级工程师，跟我一起工作，这个女工程师名叫萨拉o萨福，是伊朗人，她在美国申请工作签证被拒绝了。谷歌在多伦多的办公室接受了她。

在1980年代，辛顿已经是神经网络专家。神经网络是一个大大简化的大脑神经元和突触网络模型。虽然最早的神经网络感知器（Perceptron）在1950年代就开始开发，也被誉为迈向人机智能的第一步，但是到了80年代，业界坚定地认为神经网络是AI研究的死胡同。

1969年，麻省理工学院的MarvinMinsky和SeymourPapert在一本名为《感知器》的书中，用数学证明了这样的网络只能执行最基本的功能。这种网络只有两层神经元，一个输入层和一个输出层。如果一个网络在输入和输出神经元之间有更多的层，那么它在理论上可以解决很多不同的问题，只是没有人知道如何训练它们，所以在实践中，这些神经网络是没用的。除了辛顿等寥寥几个人之外，《感知器》使得大多数人都完全放弃了神经网络。

1986年，辛顿取得突破，显示反向传播可以训练一个深层神经网络（超过两三层的神经网络）。但是又花了26年时间，计算能力才发展到了可以好好利用这个突破的程度。辛顿和他的两个学生的2012年发表论文，显示反向传播训练的深层神经网络在图像识别中击败了最先进的系统。深度学习从此成为一股热潮。在外界看来，AI似乎是在一夜之间蓬勃发展起来的。但对于辛顿来说，这却是一个迟来的爆发。

神经网络的原理

神经网络通常被描述成一个多层三明治，层层叠叠。这些层里包含着人造神经元，指的是微小的计算单位，它可以受到激发（就像真正的神经元会被激发那样），然后将兴奋度传递给它所连接的其他神经元。神经元的兴奋度由数字来代表，比如0.13或32.39。另外，在每两个神经元之间的连接上，还有一个关键数字，决定了多少兴奋度可以从一个神经元传递到另一个。这个数字是在模拟大脑神经元之间突触的给力程度。当这个数字比较高时，就意味着两个神经元之间的连接更强，可以把更多的兴奋度传递给对方。

深层神经网络最成功的应用之一就是在图像识别中，该团队开发了一个程序，可以判断图片中是否有热狗。在十年前，这样的程序是不可能实现的。开发这种程序的第一步是找到一张照片。为了简单起见，你可以使用一张黑白图像，100像素宽，100像素高。你把这张图像输入到神经网络也就是给输入层中每个模拟神经元设置兴奋度，使之和每个像素的亮度吻合。这个多层三明治的底层就是10000个神经元（100x100），代表图像中每个像素的亮度。

然后，你将这一层神经元连接到上面的另一层神经元层（有几千个神经元），再继续连一层神经元层（也有几千个神经元），如此这般。最后，在这个三明治的最上层是输出层，它只有两个神经元，一个代表有热狗，另一个代表没有热狗。其理念就是让神经网络学会只有当图片里有热狗的时候，才会激发有热狗的神经元，只有在图片里没有热狗的时候，才会激发没有热狗的神经元。反向传播就是做到这一点的方法。

如何使用反向传播技术

反向传播本身非常简单，尽管它在有大量数据可用的情况下效果最好。这就是为什么大数据在AI中如此重要的原因以及为什么Facebook和谷歌如此渴望数据的原因。

在训练神经网络的时候，你需要使用数以百万计的图片，一些有热狗，一些没有。而诀窍就是那些有热狗的图片被标记为有热狗。在一个初始神经网络中，神经元之间的连接权重（表示每个连接传递的兴奋度的多少）可能是随机数，就好像是大脑的突触还没有调整好。反向传播的目标是改变这些权重，让神经网络可以获得很好的效果：当你将热狗的图片输入到最低层时，最顶层的有热狗神经元最终会变得兴奋起来。

假设你选取的第一幅训练图片里是一架钢琴。你将这个100x100图像中的像素强度转换为10000个数字，正好分给网络底层中的10000个神经元。然后兴奋度根据相邻神经元层之间的连接权重在这个网络上过滤，到达最后一层判断图片中是否有热狗的两个神经元。由于图片是钢琴，在理想情况下，有热狗神经元应该得出一个0，而没有热狗神经元应该得出很高的数字。但是我们假设这个神经网络效果不好，对这张照片得出了错误结论。这时你就使用反向传播技术，来重新调整网络中每个连接的权重，以便修正错误。