教学参考-15

教学目标

• 理解人工神经网络实现人工智能的基本思想
• 了解神经网络研究的基本历史进程及重要历史事件
• 引导学生思考科学研究的曲折性

教学内容

大脑中的神经网络

• 我们的大脑是由超过1千亿个神经元组成的，这些神经元都是同质的，而且功能很简单，但当大量神经元连接在一起时，就可以完成很复杂的功能。特别重要的是，神经元之间的连接是可学习的，我们就是通过这种能力，慢慢学会了各种技能。
• 婴儿出生以后，大脑中神经元连接的数量随着年龄增长而逐渐增加。到一定年龄以后，连接数量不再增加，但连接的结构性会增强。
• 注意神经元的特点：（1）同质性，所有神经元都是一样的；（2）连接性，通过边接实现功能；（3）可学习性。这些特性也是人工神经元的基本特点。

人工神经网络模型

• 受人类神经网络的启发，1943年美国计算神经学家沃伦·麦卡洛克和沃尔特·皮茨提出人工神网络模型(ANN)。
• 这一模型很简单：设第k个神经元接受m个前驱神经元的输出作xi为输入，每个输入乘以一个连接权重wki，得到总输入vk=bk+wk1x1+wk2x2…+wkmxm,再经过一个门限函数φ,输出yk= φ(vk)，取值为0或1，代表该神经元是否被激发。
• 麦卡洛克和皮茨发现，有限个这样的神经元互相连接，可以用来实现命题逻辑演算。后续研究者发现，神经网络可以对图灵机进行模拟。这些研究确立了神经网络作为通用计算工具的基础性地位。
• 注意，这个神经元是人为定义的，不可学习的。

可学习的人工神经网络

• 1948年，图灵在《智能机器》一文中曾提出一种称为“B型非组织机”的神经网络模型，并设想用类似遗传算法的方式对模型进行学习。
• 1958年，康奈尔大学的佛兰克·罗森布拉特在IBM 704 电脑上实现了一个称为“感知器”的单层神经网络。网络采用麦卡洛克-皮茨提出的神经元结构，不同的是感知器的神经元连接是可学习的。罗林布拉特将感知器模型实现为一台称为Mark 1 感知机的专用硬件上，可识别字母和数字图像。
• 感知器的神经元只有一层，只能处理线性可分问题。1969年，马文-闵斯基出版了《感知器》一书，指出了感知器模型的局限性，神经网络研究走向低谷。
• 1986年，戴维·鲁姆哈特、杰弗里·辛顿和罗纳德·威廉姆斯在《自然》杂志发表论文，提出了一种称为“反向传播算法（BP算法）”的训练方法，使得多层神经网络训练成为可能。多层神经网络解决了感知器模型的缺限，使神经网络真正成为强大的建模工具。
• 反向传播算法的基本思想是计算网络输出值与目标值之间的偏差，基于这一偏差调整网络连接权重，使得这一偏差下降最快。反向传播算法本质上是一种梯度下降算法，特别之处是利用神经网络的层次结构，首先调整最后一层连接的权重，再调整倒数第二层的权重……依此类推，直到调整到网络第一层为止。这一参数调整过程是从后向前的，因此称为反向传播算法。

蓬勃发展

• 90年代以后，人工神经网络蓬勃发展，人们提出卷积网络、循环网络等具有独特性质的神经网络变种，极大推动了神经网络的应用。
• 2006年前以后，以深度神经网络为代表的深度学习技术突飞猛进，在各个领域取得极大成功，神经网络成为人工智能领域最重要的工具。
• 当前我们谈论的人工智能，绝大部分是以人工神经元网络为代表的人工智能技术。