深度学习三巨头聚首：Hinton坚持10年内机器会掌握常识，Lecun说20年

在昨天的蒙特利尔深度学习峰会上，KUKA机器人示教器维修，深度学习三巨头Hinton、LeCun、Bengio齐聚首，展望深度学习和AI的未来深度学习会一直存在吗？下一大挑战是什么？解决了什么问题，三大神会退休？他们之间在学术上还有什么分歧？例如：Hinton有很多论文被拒；LeCun不喜欢概率，把Hinton叫做概率警察；最年轻的Bengio已经赶上两位前辈、此外，三大神还讲述了他们相遇的故事，频频展露幽默一面，赶紧来看

昨天，在RE?WORK蒙特利尔深度学习峰会上，AI三巨头GeoffreyHinton、YoshuaBengio和YannLeCun有史以来头一遭，不仅出现在同一个活动中，而且聚集在同一个panel里，分享了他们对前沿研究进展的展望，并讨论了加拿大人工智能和深度学习生态系统的格局。

来自麦吉尔大学的JoellePineau主持了这场讨论，她以十分有趣的方式开场，请三大神介绍站在自己旁边的人，整个礼堂立马充满了笑声。

YoshuaBengio率先开了头，他说：这是Yann，我在读硕（Master）期间遇到了他，当时他正跟着Geoff一起做博士后，后来Yann请我去和他一起工作，开始研究卷积神经网络，到今天这仍然是个热门课题！

接着，YannLeCun介绍GeoffreyHinton，LeCun说：我也来回顾一下历史，我还是本科生的时候研究了神经网络，发现在上世纪70年代这方面没有研究发表。我看到一篇题为《优化感知推理》（OptimalPerceptualInference）的文章，Geoff是三位作者之一。我读了这篇论文，知道我必须见见Geoffery。

最后轮到Hinton，他开玩笑说，他或许是Bengio论文的导师（supervisor），但他实际上已经不记得了。Hinton继续说：那是一篇非常好的论文，将神经网络用于语音识别。Yoshua和我在加拿大做得很好，因为加拿大支持基础研究。如今领域发展得非常快，我现在已经跟不上Yoshua的节奏了！每个星期都有好几篇arXiv论文出来，Yoshua在attention方面的工作令我印象非常深刻。我感觉Yoshua年纪是最小的，他还有一些路要走，但不幸的是我认为他已经追上我们了！现在Yoshua在他的领域里已经做出了跟Yann在CNN上同样大的影响力。

以下是现场讨论实录：

能谈一下现在和上世纪八九十年代研究深度学习，在深度学习领域工作的区别吗？

Bengio：在那时，你可以全身心投入研究，一点干扰也没有。当时的环境跟现在完全不同。当我们几个遇到彼此的时候，情况跟现在还是有一些类似的，但神经网络还是边缘研究，才开始了5到10年的样子。上世纪90年代初，神经网络火过一阵子，企业也是真的大力投入，有过一些炒作，所以跟现在还是有些类似的。但是，现在神经网络是真的能用了。

LeCun：我认为神经网络在当那时候也能用啊！但是，60年代研究感知的人认为神经网络不是一个有价值的方向，所以他们开始各种改名字改叫法，按他们的方式去做，造成了巨大的实际影响。

Hinton：他们都太年轻啦，根据不记得这回事！

LeCun：现在的AI教科书里，还有很多那时候的东西，上世纪90年代的神经网络，早就过时了，但现在还被当做参考，它们是有用，但是它们不是通往AI的路径。很多我们今天使用的技术，也将以同样的方式广为传播，也将以同样的方式传给下一代、下下一代，除非我们找到让这些技术能够继续有用、往前发展的下一步，否则现在的很多技术也将会死亡。

Hinton：同意Yann的观点！

在你的众多论文中，有什么是我们应该注意但却忽略了的吗？

Hinton：比h-index少一个引用数的那篇吧（笑）。我在2008/9年写了一篇文章，使用矩阵来对关系（relationship）和概念（concept）建模。给定3个东西，你要根据前两个推断出第3个。我在2000年初做了很多工作，基本上是早期的嵌入。有人说我该放弃这项工作，因为整篇论文中只有一个非自我引用！我的想法是，不是用向量表示对象，矩阵表示概念，而是用矩阵来表示这两者，这样就能表示关系的关系。我们教它3+2等于5，然后教它2和+在一起是+2，系统产生的输出从来没有见过+这个概念，所以它必须学习自己。这篇论文得了个2、2、3的评分（满分10分）。后来，我把论文发给认知科学那边，他们也不喜欢，说：如果我对论文的理解是正确的，那这篇论文真是太棒了，但我认为我们的读者不会对这个感兴趣！

Bengio：我都没有提交我的论文，因为我知道肯定会被拒！那篇论文的想法是，为了学习我们需要其他人的指导，这里就不多说了。

随着时间的推移，你们几位取得的共识似乎越来越多。现在你们被称为深度学习三巨头，但还有什么是你们彼此之间存有巨大分歧的？

Bengio：这是坑吗？我不跳哦！

Hinton：政治！但我们对美国的政治看法都相同。

LeCun：相比问题本身，或许我们对解决问题的方法有不同的意见。有段时间，Geoff用概率

Bengio：凡是有关概率的事情，Yann一点都不想知道，他把Geoff叫做概率警察。

现在有很多人在做深度学习和神经网络，深度学习会在AI里一直存在吗，还是说其他领域会兴起？

Bengio：我们绝对需要在现有基础上发展新的想法。这些想法将受到我们现有技术和概念的启发，并将成为创造新东西的基础。

LeCun：这些概念将被参数化并且继续发展它们不会消失，但光是现在这样显然是不够的，所以我们需要考虑新的架构很多人都在积极探索动态架构（dynamicarchitecture），自然语言处理也有很多有趣的事情发生。我们还需要更多的训练超大规模学习系统的方法这可能不是最终的答案，KUKA机器人电路板维修，还可能有旧的想法再次火起来。接下来还会出现这样一些方法，那就是将深度学习和推理这样更离散的东西连接起来。

Bengio：我们需要找到方法，让ML和DL重新拿起目标函数，并用新的方法来训练和教育这些目标函数，这对AI来说是至关重要的。

Hinton：Yann和Yoshua还认为最大的困难并不是找到一个无监督学习的目标函数。我在92年发表了一篇将空间一致性作为目标函数的论文。有了这个以后，我们能够学习更多的层，了解更多的东西。我们还能训练自编码器。

虽然具体解决时间我们还不知道，但你们认为下一个挑战和我们会解决的下一个问题是什么？

LeCun：在Facebook，有一个团队是做星际争霸的。这个游戏比围棋更难，因为它使用战略，有多个智能体，各种技术你不知道你的同伴在做什么，在韩国星际是职业竞技的一种，非常具有挑战性。现在有一些玩星际的bot，但都不在人类的水平。Facebook和DeepMind的团队正在使用机器学习玩星际，www.zr-kuka.com，我认为我们会在这方面看到一些进展。但是，下一个真正改变人类生活，并且我们可以解决的问题，是如何训练一辆汽车自动驾驶有没有办法做到完全自动并且安全？

Bengio：我实际上最近也在做这样一个项目。一个AI游戏，里面有一个人和一个AI婴儿。人需要使用自然语言来教育这个AI，告诉它什么是什么，总之做所有一般父母都会做的事情。这些都在虚拟环境中发生。这个游戏是为了让人用最好、最快捷的方式来训练AI，而不必担心其他太多问题。这个项目很棒，因为是游戏，对于参与的人而言很有趣，也有助于收集大量的数据，让我们了解如何使用强化学习来确定自然语言和环境之间的相关性。

在AI中，有没有一些问题，让你觉得如果把它们都解决了，你就可以退休了？

Bengio：有一些真正困难的问题还有待解决，这很有趣！我想知道机器如何发现高表征（HighRepresentations）来解释世界。关于解释世界，现在有一些通用的假设，它们短期内在统计学意义上是有效的，这非常简单，但是要真正解决起来就没那么简单了。

Hinton：对我来说，会产生影响的一个特殊的事情是自然语言处理和语言理解。有一些句子，像奖杯放不到手提箱里，因为它太小了或者奖杯放不到手提箱里，因为它太大了，在第一个是它指手提箱（太小），而后面的它指奖杯（太大了）。因为语言结构的原因，我们能推断出这一点，但如果你把这些句子翻译成法语，还有其他一些因素要考虑：机器是否正确区分和使用了阳性和阴性词？所以它必须理解背景。如果一台机器可以成功地完成这些翻译，那么就说明它们真正了解发生了什么。但是我认为，这需要比现在的机器翻译大约大1000倍的性能才能正常工作。如果我们能够做到这一点，机器会掌握所有的常识。它会说服那些固守传统的人，AI的成功并不是偶然，而是机器真的了解发生了什么。我认为可能在10年内可以做到这一点。

Bengio：我想我们应该让机器学习解释什么是睡觉和为什么要睡觉。我觉得很奇怪，人们不会质疑为什么我们要把生命的三分之一以上的时间花在睡觉上。但如果你剥夺了人们睡觉的权利，他们会发疯的！我们喜欢8个小时的睡眠，但是我们却不知道为什么。我强烈地认为，睡觉会这一活动会告诉我们，究竟人们是如何进行学习的。

LeCun：我们如何让机器获得常识？无监督学习？代表空间的目标函数？可能需要10或20年，我们不知道。

Hinton：又或者只需要一周的时间。

抛开技术问题，谈谈伦理哪些伦理方面的问题最有可能让你夜不能寐？

Bengio：对我来说，是对AI和我们所开发的产品的错误使用。例如，我对在智能武器装备中使用AI特别敏感，这可能是非常危险的。我认为政府应该签署条约。此外，以操纵AI的方式进行广告宣传，对民主来说可能是真正危险的。最后，AI落在错误的人手中的问题真的很麻烦。

LeCun：如果被心怀恶意的用户使用，这可能是非常糟糕的。事实上，机器学习方法确实可能会被用在一些糟糕的场景中，造成损害。例如，当你使用有偏见的数据训练机器时，机器会有偏见，当你训练系统时，会复制训练它的人的行为。这是技术问题，也是道德问题我们如何消除偏见？AI在公众中的形象可能会因此变得黯淡，所以我们必须积极主动做出改变。我正在与ThePartnershipinAI合作，我们一起提出了部署测试的指导纲要，以保证安全。

对于从事AI工作的年轻人，有什么建议？

Hinton：如果你有一个强烈的直觉，认为自己有一个很好的主意，但其他人都说不。那么注意，它不是一个坏的想法，它实际上是一个原创的想法。然后想想，你应该好好研究你的这个好主意吗？如果你有良好的直觉，那么就在你的想法上开始工作。如果你没有良好的直觉，你做什么都不重要！

Bengio：我的建议是，听Hinton的。

LeCun：我们三个人非常直观，我们通过直觉提出了概念和想法，虽然有时其他人告诉我们这是不可行的。所以一些最有趣的想法不是最复杂的，但是要实现它的方式可能是。令人惊讶的是，人们需要这么长时间才能认识到一些事情是好的想法！