4.1 深度学习的黎明

如何让机器自动学习特征，而不依赖人工设计？

这个问题的答案有一个响亮的名字：深度学习（Deep Learning）。

如果再具象一点那就是多层神经网络，让机器通过多层神经网络自动学习数据的层次化表示。而深度学习中的“深度”一词，指的就是网络的层数。

通常神经网络超过3层就被称为深度神经网络（Deep Neural Network，DNN）。

在 3.2.2 小节介绍反向传播算法时我们有介绍过反向传播算法通过计算梯度来调整权重。但在深层神经网络中，梯度需要从输出层一层一层传回输入层，就像传话游戏一样，信息越传越弱，到了深层就什么也听不清了，即梯度消失问题。

结果就是深层的权重几乎不更新，深层神经网络训练失败。

也正是因此，20 世纪 90 年代的研究者们纷纷放弃神经网络，转向支持向量机等方法。

4.1.1 DBN——深度信念网络

2006 年，多伦多大学巴泽尔大楼的一间实验室里，58 岁的 杰弗里·辛顿 还在坚持研究着多层神经网络。作为反向传播算法的共同发明者，辛顿深知反向传播算法的缺陷，他致力于解决梯度消失问题，于是他想出了一个绝妙的点子 —— 分层预训练（Layer-wise Pre-training）。

这个点子的灵感来自人类学习的过程，想象你要教一个从来没见过世界的人认识事物：

• 你不会一上来就教他区分“哈士奇”和“阿拉斯加犬”
• 而是先教他什么是“生物”和“非生物”
• 再教他什么是“动物”和“植物”
• 然后教他什么是“哺乳动物”
• 最后才是教具体的狗的品种

辛顿 提出的 深度信念网络（Deep Belief Network，简称DBN） 就是这个思路：

• 第一层：学习最基本的特征（比如图像的边缘、纹理）
• 第二层：基于第一层的输出，学习更复杂的特征（比如简单形状）
• 第三层：学习高级特征（比如物体部件）
• 输出层：基于所有特征做最终分类决策

4.1.2 DBN 与 RBM

DBN 的核心是每一层网络都先单独进行预训练，学会提取有用的特征表示，然后再整体微调。辛顿使用了一种叫做 受限玻尔兹曼机（Restricted Boltzmann Machine，简称RBM） 的特殊神经网络模型来实现分层预训练。

RBM 的结构非常简单，一层是可见层（输入层），用来接收数据；一层是隐藏层，用来学习数据的特征表示。两层之间全连接，层内的神经元不相连（如图 4-1）。

图 4-1 RBM 结构图

RBM 训练过程也很简单，第一步正向过程，先从可见层计算隐藏层的激活概率。第二步反向重构，从隐藏层重构可见层的数据。通过反复的“编码-重构”的过程，RBM 就学会了数据的本质特征。

当然，概念总是难以理解的，让我用一个更生活化的例子来解释RBM的工作原理。我们可以把RBM想象成一个学习认识水果的小朋友：

• 可见层就像小朋友的眼睛，看到一个苹果的各种特征（红色、圆形、有梗）
• 隐藏层就像小朋友的记忆，试图记住“这就是苹果”的关键特征

学习过程像是：

1. 老师给小朋友看一个苹果（正向过程）：小朋友观察并记住特征
2. 老师把苹果藏起来，问“刚才的苹果是什么样的？”（反向重构）：小朋友根据记忆描述
3. 老师再拿出苹果，帮小朋友比较记忆中的和实际的有什么不同

通过这样反复练习，小朋友（RBM）就能准确记住并识别苹果的特征了。

有了 RBM 这个基础构件，DBN 就可以通过堆叠多个RBM来构建深层网络。每个 RBM 负责学习一个层次的特征，底层RBM学习简单特征，上层 RBM 则在此基础上学习更抽象的特征（如图 4-2）。这种逐层预训练的方式有效缓解了梯度消失问题，让深层神经网络的训练真正成为可能。

图 4-2 DBN 结构图

4.1.1 DBN的影响

2006 年 7 月，辛顿在《Science》（科学）杂志上发表了一篇论文 一种深度信念网络的快速学习算法（A fast learning algorithm for deep belief nets），DBN 正式问世。

它的实验结果令人震惊，在 MNIST 手写数字识别任务上，错误率降到 1.25%。在人脸识别任务上，性能显著超越传统方法；最重要的是，机器学会了自动提取特征！

那些被“特征工程”折磨得死去活来的研究者们突然发现：不需要人工设计特征，机器竟然能自己学会提取特征！

学术界的反应十分复杂，有怀疑派觉得：“怎么又是神经网络，这不是在80年代就已经被证明了行不通吗？“，也有务实派觉得：“不管是什么方法，能 work 就行”，还有些前瞻派：“这可能是下一次人工智能浪潮的开端！”

总之，一个不争的事实是，深度学习的大门被重新打开了。

DBN的成功证明了深度学习是可行的，为之后深度学习的蓬勃发展奠定了重要基础。深度学习这项研究也让辛顿成为了 2018 年图灵奖的共同获奖者之一，被誉为“深度学习之父”。