当AI具有人类大脑的进化能力，机器能产生“智慧”吗？

神经进化正在复兴。主要的人工智能实验室和研究人员正在试验它，一丝新的成功点燃了更多的热情，能对于深度学习产生影响的新机遇正在出现。也许你在深度学习所有的激动人心的时刻并没有听到过神经进化，但它只是潜行于表面之下，作为一个小的热情的研究社区的课题存在了几十年。现在它正伴随着大众对于它的潜力的了解而开始获得更多的关注。

简单来说，神经进化是人工智能和机器学习领域的一个分支。它力图触发一个和产生我们人类大脑类似的进化过程，只不过这个过程是在计算机里实现的。换句话说，神经进化试图开发通过进化算法去寻找进化神经网络的方法。

当我在上世纪九十年代末期第一次开始人工智能的研究的时候，关于可以在计算机里去进化大脑的想法和我想冒险的感觉产生了共鸣。在当时这还是一个不寻常的、甚至是很含糊的领域。但我对这个思想非常好奇而且也很有亲切感。结果就是我生命里的20多年都在思考这个主题，并和杰出的同事一起开发出了一系列的算法，比如NEAT、HyperNEAT和新颖性搜索（noveltysearch）。在本博文里，我希望能带给你神经进化的一些激动人心的部分，并对这个主题给出一些洞见，但不会有科学文献里那些让人头晕的术语。我也会部分采用自传回顾的视角来把我在这个领域里摸爬滚打的经历讲述一下。我希望我自己的故事能为更多的读者打开一扇探索在计算机里进化大脑的窗户。

深度学习的成功

如果你最近一直在跟踪人工智能或是机器学习领域，你可以已经听说了深度学习。要感谢深度学习，计算机已经在诸如图像识别和控制无人驾驶汽车（甚至是控制电子游戏的角色）这样的任务上接近或是有时超越人类的表现。这些成就已经帮助深度学习和人工智能从默默无闻的学术期刊里一跃出现在大众传媒上，并激发了公众的想象力。那么在深度学习的背后是什么使这一成功成为可能？

实际上，在深度学习的表面下是一个已经有几十年历史的技术的最新形式，它就是人工神经网络（ANN）。与很多AI领域里的思想一样，ANN也是来自生物学的灵感。对ANN来说，它是模拟人类的大脑。我们之所以选择大脑作为AI的灵感来源，是因为大脑是迄今为止唯一明确的智能载体。当我们想实现人工智能时，在某种程度上，模仿大脑应该是一个讲得通的思路。大脑的一个关键组件就是神经元。它是一个很小的细胞，可以通过连接想其他的神经元发送信号。当非常多的神经元彼此连接形成一个网络（正如大脑里就是这样），我们称之为一个神经网络。因此，一个ANN就是试图模仿类似神经元这样可以相互间发送信号的组件的集合。这就是在深度学习里面的深度网络背后的机理。

ANN的研究人员通过程序来模拟这些神经元以及在他们中间传输的信号，获得了一个比较模糊的模拟大脑里发生的事情的过程。当然，这两者间是有着非常多的不同的。但真正的挑战是，仅仅只是简单地把一堆类似神经元的元素彼此相连并让他们相互间共享信号并不能产生智慧。相反的，智慧是精确地来源于神经元是如何连接的。

例如，一个神经元强烈地影响着另外一个神经元被称为有一个很大的权重连接到它的伙伴。在这里，这个连接的权重决定了神经元是如何彼此影响的，从而产生了一个神经网络里神经激活的特定模式，来响应到达神经网络的输入（比如，来自眼睛的输入）。要想得到一个智能的网络，相应的挑战就变成了如何决定网络连接的权重的问题。

通常，没人会通过手工计算得出连接的权重（考虑到现代的ANN一般都有上百万个连接，你就能明白为什么手工的方法不现实了）。相反的，为某个任务找到正确的连接权重就被看成了一个学习的问题。换句话说，就是研究人员花费了大量的精力去发明让ANN自己去为特定的任务学习最佳权重的方法。最常见的学习权重的方法就是把ANN的输出（比如，那个看着像是条狗）和标准答案去比较，然后通过特定原则里的数学公式来改变权重，从而使下一次输出正确的可能性更大。

在经过这样无数次的比对样例（可能会有上百万个）的训练后，神经网络就开始能够分配正确的权重来准确地回答各种各样的问题了。经常性的，神经网络的能力甚至能泛化到可以回答它没有碰到过的问题，只要这些问题和之前训练里看到的问题差别不那么大。到此为止，ANN基本上学会了去应对特定的问题了。一种常见的调整权重的方法就是随机梯度下降法，它是之前提到的深度学习里面非常流行的一个组件。最近几年的深度学习的实现基本上是对由非常多层的神经元（这就是为什么叫深度的原因）构成的ANN进行海量的训练。这也得益于近年来出现的强大的计算硬件的帮助。

但这里有一个我还没提到的问题，即我们首先如何决定谁连接到谁？换句话说，就是我们的大脑不只是由连接权重决定的，它还是由大脑内部的结构决定的。随机梯度下降甚至都没法去解决这个问题，而只是尽力去优化给它的连接。

这些连接是怎么来的？在深度学习里，答案就是：它们基本是由研究人员基于一定程度的经验来决定整个网络的架构是什么样的。与之相对的，自然界的大脑的结构则是通过进化形成的。我们人类大脑里的100万亿个连接的架构是来自于数百万年的优胜劣汰的自然选择过程后进化来的。

我们大脑的架构是超级无敌。毕竟毫不夸张地说，人类的智慧都集中在那里。这实际上就意味着自然界里的大脑的进化是迄今为止唯一已知的产生强智慧的过程。神经进化学的目标就是在计算机里触发一个类似的进化过程。从这个方面讲，神经进化学是人工智能专业里唯一的一个有着实际的概念证明（大脑确实是进化来的）的分支。我们知道这是一条可以产生智慧的道路。

说的更清楚点，深度学习传统上关注于对ANN编程来学习，而神经进化则侧重于大脑网络自身的原始架构。它可以包括谁和谁来连接、连接的权重以及（有时）这些连接如何允许被改变。当然，这两个领域是有一些交叉的。比如ANN依然需要为特定任务进行学习，无论是否进化过。有可能进化得到的ANN可以利用深度学习里的方法（比如随机梯度下降）来获得恰当的权重。实际上，深度学习甚至可以被认为是神经进化的一个兄弟。它研究的是如何对于一个ANN（无论是进化来的还是预先定义）的架构来学习连接的权重。

但是，学习机制自身是可以进化的观点也是可能的，从而让神经进化有着能超越或是更详细地说明传统的深度学习的潜力。简而言之，大脑（包括它的架构和如何学习）是自然选择的产物。而神经进化可以探索大脑出现的所有因素，或是借鉴深度学习的某些方面而让进化来决定其他的部分。

神经进化是怎么工作的