教学参考-16

教学目标

• 了解全连接网络、卷积神经网络、循环神经网络、自编码器的概念及结构特点
• 理解卷积神经网在处理图像任务、卷积神经网络在处理自然语言处理任务的优势
• 理解自编码器可以抽取重要特征的原因

教学内容

全连接网络

• 多层感知器是罗森布拉特标准感知器的扩展。如果以神经元来计算层数，一个多层感知器至少包含三层：一个输入层，一个隐藏层和一个输出层。
• 数据通过输入层进入网络，乘以连接的权重入后输入到隐藏层节点。隐藏层节点将这些加权后的输入求和并经过一个非线性变换（称为激发函数）后送往输出层。
• 右上图是一个三层多层感知器示意图，右下图是一个非线性变换的例子，其中横轴为输入，纵轴为对应的输出，二者之间呈现非线性关系。
• 一般来说，多屋感知器相邻两层之间的所有节点都是互相连接的，因此也称为全连接网络。全连接网络是最通用的网络结构。然而，在很多实际应用中，数据往往具有特殊的属性，利用这些特殊性构造具有独特结构的网络，往往会取得更好的效果。

卷积神经网络

• 卷积神经网络是应用最广泛的具有特殊结构的神经网络之一。这一网络的特点是隐藏层的每个节点只与输入层的部分节点有连接，且这些连接权重是共享的。如右图所示，隐藏层的每个节点只与输入平面上的9个节点连接，且这些连接对所有隐藏节点都是一样的。
• 这种特别的结构在计算上等价于一个以权重为参数的“透镜”在输入平面上的扫描过程，这一过程称为“卷积”，因此称为卷积神经网络。
• 卷积神经网络特别适合具有局部特征，且这些特征在空间上具有不变性的数据。例如一张包含猫脸的图片，猫脸在整张图片中只占有部分区域，因此猫的特征是局部的；同时，不论猫的脸在图片的什么位置，它都是一只猫，这称为空间不变性。卷积神经网络特别适合提取这种局部的、具有空间不变性的特征，因此在图像处理领域得到广泛应用。

循环神经网络

• 循环神经网络是包含环形连接的网络，如下图所示，隐藏层包含一个到自身的环形连接。这一特殊的连接将前一时刻的计算结果反馈到下一时刻，作为下一时刻的输入，使得网络具有时序上的记忆能力。
• 如下图所示，将左侧所示的网络连续运行三次，这一顺序运行的过程等价于右侧的展开图。可以看到，因为存在环形连接，每次运行时上一时刻的隐藏层节点的值将输入到下一时刻，因此每一时刻网络的行为都不是独立的，而是取决于之前的运行过程。换句话说，循环神经网络具有记忆功能，网络的输出具有累积效应。

自编码器

• 自编码器是另一种重要的神经网络结构。这一网络的训练目标是使得网络的输出尽可能与输入一致，即恢复输入数据。如右图所示，输入是一只猫，网络希望尽可能在输出端恢复这只猫。
• 特殊的是，这一网络的中间层所包含的节点数要小于输入和输出层的节点数。这意味着输入数据在经过中间层时会有信息损失，因此这一层又称为瓶颈层。
• 因为网络要尽可能恢复输入数据，瓶颈层只能选择那些最重要的信息保留下来，这事实上实现了重要特征的提取功能。右图中，瓶颈层保留了猫的轮廓，因为这是恢复输入图片最重要的信息。