深度学习三巨头聚首：Hinton坚持10年内机器会掌握常识，Lecun说20年

在昨天的蒙特利尔深度学习峰会上，KUKA机器人示教器维修，深度学习三巨头Hinton、LeCun、Bengio齐聚首，展望深度学习和AI的未来深度学习会一直存在吗？下一大挑战是什么？解决了什么问题，三大神会退休？他们之间在学术上还有什么分歧？例如：Hinton有很多论文被拒；LeCun不喜欢概率，把Hinton叫做概率警察；最年轻的Bengio已经赶上两位前辈、此外，三大神还讲述了他们相遇的故事，频频展露幽默一面，赶紧来看

昨天，在RE?WORK蒙特利尔深度学习峰会上，AI三巨头GeoffreyHinton、YoshuaBengio和YannLeCun有史以来头一遭，不仅出现在同一个活动中，而且聚集在同一个panel里，分享了他们对前沿研究进展的展望，并讨论了加拿大人工智能和深度学习生态系统的格局。

来自麦吉尔大学的JoellePineau主持了这场讨论，她以十分有趣的方式开场，请三大神介绍站在自己旁边的人，整个礼堂立马充满了笑声。

YoshuaBengio率先开了头，他说：这是Yann，我在读硕（Master）期间遇到了他，当时他正跟着Geoff一起做博士后，后来Yann请我去和他一起工作，开始研究卷积神经网络，到今天这仍然是个热门课题！

接着，YannLeCun介绍GeoffreyHinton，LeCun说：我也来回顾一下历史，我还是本科生的时候研究了神经网络，发现在上世纪70年代这方面没有研究发表。我看到一篇题为《优化感知推理》（OptimalPerceptualInference）的文章，Geoff是三位作者之一。我读了这篇论文，知道我必须见见Geoffery。

最后轮到Hinton，他开玩笑说，他或许是Bengio论文的导师（supervisor），但他实际上已经不记得了。Hinton继续说：那是一篇非常好的论文，将神经网络用于语音识别。Yoshua和我在加拿大做得很好，因为加拿大支持基础研究。如今领域发展得非常快，我现在已经跟不上Yoshua的节奏了！每个星期都有好几篇arXiv论文出来，Yoshua在attention方面的工作令我印象非常深刻。我感觉Yoshua年纪是最小的，他还有一些路要走，但不幸的是我认为他已经追上我们了！现在Yoshua在他的领域里已经做出了跟Yann在CNN上同样大的影响力。

以下是现场讨论实录：

能谈一下现在和上世纪八九十年代研究深度学习，在深度学习领域工作的区别吗？

Bengio：在那时，你可以全身心投入研究，一点干扰也没有。当时的环境跟现在完全不同。当我们几个遇到彼此的时候，情况跟现在还是有一些类似的，但神经网络还是边缘研究，才开始了5到10年的样子。上世纪90年代初，神经网络火过一阵子，企业也是真的大力投入，有过一些炒作，所以跟现在还是有些类似的。但是，现在神经网络是真的能用了。

LeCun：我认为神经网络在当那时候也能用啊！但是，60年代研究感知的人认为神经网络不是一个有价值的方向，所以他们开始各种改名字改叫法，按他们的方式去做，造成了巨大的实际影响。

Hinton：他们都太年轻啦，根据不记得这回事！

LeCun：现在的AI教科书里，还有很多那时候的东西，上世纪90年代的神经网络，早就过时了，但现在还被当做参考，它们是有用，但是它们不是通往AI的路径。很多我们今天使用的技术，也将以同样的方式广为传播，也将以同样的方式传给下一代、下下一代，除非我们找到让这些技术能够继续有用、往前发展的下一步，否则现在的很多技术也将会死亡。

Hinton：同意Yann的观点！

在你的众多论文中，有什么是我们应该注意但却忽略了的吗？

Hinton：比h-index少一个引用数的那篇吧（笑）。我在2008/9年写了一篇文章，使用矩阵来对关系（relationship）和概念（concept）建模。给定3个东西，你要根据前两个推断出第3个。我在2000年初做了很多工作，基本上是早期的嵌入。有人说我该放弃这项工作，因为整篇论文中只有一个非自我引用！我的想法是，不是用向量表示对象，矩阵表示概念，而是用矩阵来表示这两者，这样就能表示关系的关系。我们教它3+2等于5，然后教它2和+在一起是+2，系统产生的输出从来没有见过+这个概念，所以它必须学习自己。这篇论文得了个2、2、3的评分（满分10分）。后来，我把论文发给认知科学那边，他们也不喜欢，说：如果我对论文的理解是正确的，那这篇论文真是太棒了，但我认为我们的读者不会对这个感兴趣！

Bengio：我都没有提交我的论文，因为我知道肯定会被拒！那篇论文的想法是，为了学习我们需要其他人的指导，这里就不多说了。

随着时间的推移，你们几位取得的共识似乎越来越多。现在你们被称为深度学习三巨头，但还有什么是你们彼此之间存有巨大分歧的？

Bengio：这是坑吗？我不跳哦！

Hinton：政治！但我们对美国的政治看法都相同。

LeCun：相比问题本身，或许我们对解决问题的方法有不同的意见。有段时间，Geoff用概率

Bengio：凡是有关概率的事情，Yann一点都不想知道，他把Geoff叫做概率警察。

现在有很多人在做深度学习和神经网络，深度学习会在AI里一直存在吗，还是说其他领域会兴起？

Bengio：我们绝对需要在现有基础上发展新的想法。这些想法将受到我们现有技术和概念的启发，并将成为创造新东西的基础。

LeCun：这些概念将被参数化并且继续发展它们不会消失，但光是现在这样显然是不够的，所以我们需要考虑新的架构很多人都在积极探索动态架构（dynamicarchitecture），自然语言处理也有很多有趣的事情发生。我们还需要更多的训练超大规模学习系统的方法这可能不是最终的答案，KUKA机器人电路板维修，还可能有旧的想法再次火起来。接下来还会出现这样一些方法，那就是将深度学习和推理这样更离散的东西连接起来。

Bengio：我们需要找到方法，让ML和DL重新拿起目标函数，并用新的方法来训练和教育这些目标函数，这对AI来说是至关重要的。

Hinton：Yann和Yoshua还认为最大的困难并不是找到一个无监督学习的目标函数。我在92年发表了一篇将空间一致性作为目标函数的论文。有了这个以后，我们能够学习更多的层，了解更多的东西。我们还能训练自编码器。

虽然具体解决时间我们还不知道，但你们认为下一个挑战和我们会解决的下一个问题是什么？

LeCun：在Facebook，有一个团队是做星际争霸的。这个游戏比围棋更难，因为它使用战略，有多个智能体，各种技术你不知道你的同伴在做什么，在韩国星际是职业竞技的一种，非常具有挑战性。现在有一些玩星际的bot，但都不在人类的水平。Facebook和DeepMind的团队正在使用机器学习玩星际，www.zr-kuka.com，我认为我们会在这方面看到一些进展。但是，下一个真正改变人类生活，并且我们可以解决的问题，是如何训练一辆汽车自动驾驶有没有办法做到完全自动并且安全？