一文带你读懂DeepMind新论文，关联推理为什么是智能最重要的特征

每一次DeepMind发布一篇新论文，工业机器人维修，媒体都会疯狂地报道。其中不乏许多让人迷惑的术语。比如就有未来主义者这样报道：

DeepMind开发了一个可以感知周围事物的神经网络。

这不仅仅误导人，还吓跑了那些没有接受过博士阶段的学习的人。所以在这篇文章里，我打算用尽量简单的语言来解释这个新的神经网络架构，这篇文章也要求一些神经网络方面的基础知识。

什么是关联推理？

简单来说，关联推理是去学习不同物体（想法）之间的联系，这被认为是智能最为重要的特征。论文作者用了一个图形示例来解释：

从关联问题的角度来看，上图的模型需要检查不同形状、尺寸、颜色的物体，还能够回答和多个物体相关的问题。

关联网络

作者提出了能够抓住物体内在联系的神经网络（正如卷积神经网络能够提取图像的性质）。他们提出了由下式定义的架构：

公式解释：

神经网络和函数

当我们在学习神经网络，做反向传播之时很容易忘了，一个神经网络实际上只是一个简单的数学函数！因此，方程（1）所描述的函数是一个神经网络！更准确的说，机器人维修，其中有两个神经网络：

关联网络是灵活的

作者以一个模块的形式提出了关联神经网络。它可以接收被编码了的物体并学习其中的关系。但更重要的是，关联神经网络可以被嵌入于卷积神经网络（CNN），和以长短时记忆单元[Z1]（LSTM）为基础的递归神经网络中。

卷积神经网络可以被用于从图像中学习物体，这使其更易于被应用。因为能在图像中进行推理比在用户指定的物体中进行推理明显更有用。

伴随着词嵌入，长短时记忆单元（LSTM）可以被用于理解模型被问及的问题的含义。这是很有用的一个变革，因为模型现在可以接收英文句子而不是预先定义好的物体。

作者提出了结合关联网络，卷积神经网络和长短时记忆单元来构建一个端到端的、能学习物体之间关联的神经网络。

上图解释：

图像经过一个标准的卷积神经网络（CNN），从中提取出图像的特征。关联神经网络的输入对象是网格中每一个点的特征向量。比如说其中一个对象是黄色的向量。

问题被传入长短时记忆单元（LSTM）中，www.zr-kuka.com，产出了一个关于问题的特征向量。也就是这个问题的点。

同时对方程（1）进行了一些修改，加入另一项使其变成：

在上面的公式中，注意到比起方程1多了一个q项。这个q是长短时记忆单元的最终状态。现在关联性是条件于q的。

在此之后，神经网络输出的对象和长短时记忆单元输出的特征向量被用于训练关联网络。

基准

作者在几个数据集中展示了该模型的效果。这里我们讨论其中一个数据集（在我看来最显著的一个）CLEVR数据集。

作者指出他们的模型比其他方法在精确度上高很多。这是因为关联网络就是为学习关联性而设计的。

相对于注意力堆模型仅仅75%的准确率，他们的模型达到了96%+的准确率。

结论

关联网络十分擅长高效地学习关联性。同时灵活，可以结合卷积神经网络和长短时记忆来一起解决问题。

这篇博文意在破除由于大量论文发表导致人工智能已经接管了一切的假象，并介绍当下最先进的算法是什么样的。