人工神经网络概论

梁飞

（中国矿业大学 计算机科学与技术学院 信科09-1班，江苏，徐州，221116）

摘要：进入21世纪以来，神经网络近来越来越受到人们的关注，因为神经网络可以很容易的解决具有上百个参数的问题，它为大复杂度问题提供了解决一种相对来说比较有效的简单方法。人工神经网络是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。本文简要介绍了人工神经网络的工作原理、属性、特点和优缺点、网络模型、发展历史及它的应用和发展前景等。

关键词：人工神经网络；人工智能；神经网络；神经系统

1．人工神经网络的简介

人工神经网络（Artificial Neural Networks, 简写为 ANN），一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。

2．人工神经网络的工作原理

人脑的处理机制极其复杂，从结构上看它是包含有140亿神经细胞的大规模网络。单个神经细胞的工作速度并不高，但它通过超并行处理使得整个系统实现处理的高速性和表现的多样性。

因此，从处理的角度对人脑进行研究，并由此研制出一种象人脑一样能够“思维”的智能计算机和智能处理方法，一直是人工智能追求的目标。

人脑神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。

人们正是通过对人脑神经系统的初步认识，尝试构造出人工神经元以组成人工神经网络系统来对人的智能，甚至是思维行为进行研究:尝试从理性角度阐明大脑的高级机能。经过几十年的努力与发展，己涌现出上百种人工神经网络模型，它们的网络结构、性能、算法及应用领域各异，但均是根据生物学事实衍生出来的。由于其基本处理单元是对生物神经元的近似仿真，因而被称之为人工神经元。它用于仿效生物神经细胞最基本的特性，与生物原型相对应。

人工神经元的主要结构单元是信号的输入、综合处理和输出，其输出信号的强度大小反映了该单元对相邻单元影响的强弱。人工神经元之间通过互相联接形成网络，称为人工神经网络。神经元之间相互联接的方式称为联接模式，相互之间的联接度由联接权值体现在人工神经网络中，改变信息处理过程及其能力，就是修改网络权值的过程。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。

人工神经网络处理信息的方式和人类大脑的工作方式类似。神经网络通过对示例进行学习，而不是通过编程用于完成某一具体任务。示例必须经过挑选，否则，会浪费宝贵的时间甚至有可能引起网络不能正常地发挥作用。而这样做的缺点就是因为网络完全依靠自己的能力来寻找解决该问题的方法，那么也就是说它的运行时间是不可预测的。

3． 人工神经网络与人工智能

从广义上说，人工智能是计算机科学的一个分支，对于人工智能的研究，有实现功能的模拟和生理结构的模拟两种方法，前者即通常所说的人工智能（AI）,后者即人工神经网络（ANN）。

人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。

人工神经网络具有某些和人工智能相同的目的，两者都试图建立智能机器，都试图模拟人类的思考推理能力，两种技术的研究人员也都试图理解和揭示人类的智能特性。两者在历史上有过共同的发展，然而两者从不同的方向去研究智能性质问题。

人工神经网络把注意力放在大脑的工作机理上。它采用自下而上的方法，从基础开始研究，即从生物学角度，由最简单的人工神经元开始，然后将它们按照大脑的基本结构连接组合为层次模型；它通过神经元的兴奋和抑制产生信息，通过神经元之间的相互作用对信息经行处理和传递，通过学习使其具备智能性。

人工智能方法则是自上而下的。即试图给予心理学的理论建立系统模型。该系统模仿的是大脑做什么，很少涉及大脑如何做。最初的人工智能问题就是在计算机上编程实现的，并经常用到像“if-then”这样的规则形式。

人工智能和人工神经网络之间一个重要区别就是自学习能力。人工神经网络的自学习能力很强，一般用于学习所收集的数据越多，学习的就越完全、越精确。另一个巨大的差别就是速度和实时处理能力。人工神经网络的并行结构对此有极大的优越性，它可以迅速作出判决响应，同时它具有较强的容错能力。而人工智能技术在解决某些问题时遇到了困难，如视觉问题、连接语音的识别与综合问题、机器人的学习问题、单处理器的运算速度问题等，有些任务的算法太复杂以致无法实现。

虽然人工智能的研究目标仍未改变，但人工神经网络却使某些陷入困境的人工智能项目得到了帮助。人工神经网络与人工智能的结合将具有巨大的潜力。

4．人工神经网络发展历史

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts提出了第一个神经元数学模型—MP模型，从而开创了人工神经网络研究的时代。1948年，John Von Neumann研究比较过人脑结构和指令存储式计算机的联系与区别，提出以简单神经元构成自再生自动机网络。1949年，心理学家D.O.Hebb提出神经元群、突触和返响回路的概念。1958年，F.RoSenblatt提出具有学习能力的“感知机”模型，完成了从单个神经元到三层神经网络的过渡。1960年，Widrow和Hoff提出自适应线性元Adaline网络，人工神经网络的到了进一步发展。1961年，Caianiello发表了关于神经网络数学的理论著作，提出了神经元方程，用布尔代数模拟机能的动力过程，分析并研制细胞有限自动机的理论模型。1969年，美国人工智能学家M.Minsky和S.Papert出版了《Perceptron》（《感知机》）一书，证明了单层神经网络甚至不能解决像“异或”这种简单的运算问题，并且不能训练已发现的许多模式。1981年，Kohonen提出了具有竞争的自组织特征映射（SOM）网络。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，采用全互连型神经网络模型，应用能量函数的概念，成功地解决了数字电子计算机不善于解决的经典人工智能难题—旅行商最优路径（TSP）问题。 1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究。1983年，Sejnowski和Hinton提出了“隐单元”概念，推出大规模并行处理的Boltzmann机，使用多层神经网络并行分布改变个单元连接权，克服了单层网络的局限性为神经网络进入非线性处理领域奠定了基础。1987年6月21日至24日，第一届神经网络会议在美国SanDiego市召开，标志着ANN研究已遍及全世界。20世纪90年代后，ANN再现热潮，产生的各类模型已达几十种，与之相伴的是大量出现的边缘交叉学科。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。

5．人工神经网络的四个基本属性

　　（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

　　（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

　　（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

　　（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

6．人工神经网络的特点及优越性

   ANN具有如下主要特点：

（1）能较好地模拟人的形象思维、人脑神经系统结构和功能，对信息进行并行分布处理。

（2）具有大规模并行协同处理能力。

（3）具有较强的容错能力和联想能力。

（4）具有较强的学习能力。

（5）适应性集成。

（6）硬件实现。

     ANN具有如下明显的优点：

①信息处理是并行性的；

②知识的存储是分布的；

③具有联想、模糊处理、自适应或自学习的能力，可以通过训练自动总结规律；

④局部错误对整体不会带来严重的影响，能够处理不完善的问题；

⑤能够很好地完成多变量模式识别

⑥能从部分样本中学到的知识推广到全体样本；

⑦能通过直接的数值数据进行训练并能自动地确定因果关系

此外，ANN还存在着很多问题：如训练时间长，需大量训练数据，不能保证最佳结果和完全可靠，容易陷入局部极小，不具备增量学习能力，联想存储网络容量小，所存储的信息相互干扰和退化，不适合高精度计算，没有很完善的学习方法，经验参数太多等。在实际应用中也存在着难以设计通用的神经网络芯片，大量的、动态的神经元互联实现困难等问题。因此，还需对ANN进行更深更进一步的研究。 

7．人工神经网络的分类与模型

7.1人工神经网络的分类

人工神经网络从不同的角度进行划分，有以下几种分类结果：

（1）按网络拓扑结构划分。ANN可分为单纯的阶层网络、具有反馈的阶层网络、层内互联的阶层网络、相互连接型网络。

（2）按网络的学习方法划分。ANN可分为有师学习网络、无师学习网络和强化学习网络。

（3）按网络的性能划分。ANN可分为连续型与离散型网络，或分为确定型与随机型网络。

（4）按连接突触的性质划分。可分为一阶线性关联网络与高阶非线性关联网络。

7.2人工神经网络模型

人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。下面是它们之中比较有代表性的一些模型。

（1）BP网络： BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层、隐层和输出层。

（2）感知器（perceptron）：由美国心理学家罗森布拉特于1957年提出，是一个具有单层神经元的神经网络，它是最简单的前向网络主要用于模式分类，以及基于模式分类的学习控制和多模态控制中。单层感知器有它的局限性。但是，它在神经网络研究中有着重要的意义和地位。它不但引起了众多学者对神经网络研究的兴趣，推动了神经网络研究的发展，而且后来的许多神经网络模型都是在这种指导思想下建立的，或者是这种模型的改进和推广。

（3）Hopfield网络：由霍普菲尔德于1982年提出，它是一种带有反馈连接的循环神经网络，是一类不具有学习能力的单层自联想网络。Hopfield网模型由一组可使某个能量函数最小的微分方程组成。其不足在于计算代价较高，而且需要对称连接。

（4）自适应谐振理论（ART）：此理论由格罗斯伯格提出，是一类重要的竞争型神经网络学习模型,其记忆模式与生物记忆形式类似,记忆容量可以随学习模式的增加而增加,不仅可以进行实时在线学习,还可以在动态环境下学习,具有较好的性能。它是一个根据可选参数对输入数据进行粗略分类的网络。

（5）认知机（neocogntion）：由福岛提出，是迄今为止结构最为复杂的多层网络 。通过无师学习，认知机具有选择能力，对样品的平移和旋转不敏感。不过，认知机所用的节点及其互连较多，参数也多且难选取。

（6）Madaline算法：他是Adaline算法的一种发展，是一组具有一组最小均方差的线性网络的组合，能够调整权值，使得期望信号与输出间的误差最小。此算法是自适应信号处理和自适应控制的得力工具，具有较强的学习能力，但是输入和输出之间必须满足线性关系。

（7）双向联想存储器（BAM）：由科斯克提出，是一种单状态互联网络，具有学习能力。BAM的缺点为存储密度较低，比较容易振荡。

（8）博尔茨曼机（BM）：由欣顿等人提出，建立在Hopfield网络基础上，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间要比BP网络长。

（9）对流传播网络（CPN）：由赫克特•尼尔森提出，是一个通常由5层组成的连接网。CPN可用于联想存储，其缺点是要求较多的处理单元。

（10）自组织映射网（SOM）：由科霍恩提出，以神经元自行组织以校正各种具体模式的概念为基础。SOM能够形成簇与簇之间的连续映射，起到矢量量化器的作用。

8．神经网络的应用

神经网络以其独特的结构和处理信息的方法，在许多实际领域中有着非常广泛的应用，取得了显著的成效，主要应用如下：

（1）自动控制领域。神经网络方法已经覆盖了控制理论中的绝大多数问题，主要   有系统建模与辨识、PID参数整定、极点配置、内模控制、优化设计、预测控制、最优控制、自适应控制、滤波与预测容错控制、模糊控制和学习控制等。

（2）经济领域。用人工神经网络技术可以增强经济模型的分析、控制和预测功能。从人工神经网络的精确性、适应性、鲁棒性、有效性和解决经济问题的效率看，将人工神经网络用于经济领域中的识别、分类和预测是颇具前景且有实际价值的，尤其是对股市的短期预测和商业银行的信用风险分析具有重要的现实意义。

（3）医学领域。 由于人体与疾病的复杂性，不可预测性，在生物信号与信息的表现形式、变化规律（自身变化与医学干预后变化），对其检测与信号表达，获取的数据及信息的分析、决策等诸多方面均存在大量复杂的非线性关系，非常适合人工神经网络的应用。目前的研究几乎涉及从基础医学到临床医学的所有方面，主要应用于生物信号的检测与自动分析，医学专家系统等。

（4）模式识别领域。 人工神经网络在模式识别领域应用手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。

（5）机器人控制领域。 人工神经网络在机器人控制领域主要应用于对机器人轨道控制，操作机器人眼手系统，用于机械手的故障诊断及排除，智能自适应移动机器人的导航，视觉系统。

（6）图像处理领域。 人工神经网络在图像处理中的图像分类、图像复原与重建 、图像边缘检测、图像盲水印技术以及图像信息压缩等方面有广泛的应用。

（7）大气科学领域。目前，在国内外大气学科中有关神经网络方法的应用研究内容涵盖了气象学科的很多方面，其中包括：中短期天气预报，短期气候预测，气候模式，数值预报产品释用预报，农业气象，土壤水分预报，强对流天气，卫星资料处理，雷达资料的预报应用，云图识别，能见度预报，大气温度廓线反演，水面蒸发计算，厄尔尼诺预报，台风预报，温度时间序列预报，空气污染预报，以及观测资料优化处理等。

（8）环境科学领域。 人工神经网络在环境科学领域主要应用于环境质量评价、环境系统因素预测、环境因素定量关系模拟和污染防治系统建模等方面

（9）处理组合优化问题。 最典型的例子是成功地解决了TSP问题，即旅行推销员问题，另外还有最大匹配问题、装箱问题和作业调度等。

（10）传感器信号处理。 传感器输出非线性特性的矫正、传感器故障检测、滤波与除噪、环境影响因素的补偿、多传感器信息融合。

（11）化工领域。 能对制药、生物化学和化学工程等进行分析。如：进行蛋白质结构分析、谱分析和化学反应分析等。

（12）地理领域。 在遥感图像分类中有广泛的应用，在GIS方面应用人工神经网络理论，提高系统对数据进行复杂的综合分析的功能。

（13）军事领域。 包括无人驾驶飞机、车辆，航天姿态控制、导弹的智能引导、卫星图片的识别、脸谱和指纹识别等。

（14）生物原型研究。 从生理学、心理学、解剖学、脑科学、病理学等生物科学方面，从定性与定量、静态与动态、微观与宏观等各种观察角度，研究神经细胞、神经系统的生物原型的微观和宏观结构及功能机理，探明脑中物理平面认知平面映射的原理。

9．人工神经网络的发展前景

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

人工神经网络虽然已在许多领域应用中取得了广泛的成功，但人工神经网络的发展正处于起步阶段，有许多方面还十分不成熟，在有些领域还存在着非常广阔的发展空间，还有一些问题需尚待进一步的研究。

（1）神经计算技术与其他技术尤其是进化计算技术的结合以及由此而来的混合方法和混合系统，正成为一大研究热点。

（2）除了传统的多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振理论网络、模糊神经网络、循环神经网络之外，一些新的模型和结构很值得关注，例如最新兴起的脉冲神经网络和支持向量机。

（3）神经网络用于控制时还有许多问题值得研究：现行的学习算法收敛速度低，存在局部最优问题；分布式并行处理方式的网络内部机理并不清楚，选择网络层数、每层神经元个数，还得凭经验；泛化能力不足，制约了控制系统的鲁棒性；需要创造更适合于控制的专用神经网络；网络建立模算法和控制系统的收敛性与稳定性需进一步研究。

(4)由于神经网络具有非线性的基本属性，因此非线性问题的研究是神经网络理论发展的一个最大动力。特别是人们发现，脑中存在着混沌现象以来，用混沌动力学启发神经网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题，因为从生理本质角度出发是研究神经网络的根本手段。

（5）神经计算机的未来发展潜力巨大。由于人工神经网络可以用集成电路芯片组成神经计算机，甚至还可以用光学的、生物芯片的方式实现，因此研制纯软件模拟，虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。随着大量神经计算机和神经元芯片应用于高科技领域，给神经网络理论和方法赋予新的内容，同时也会提出一些新的理论课题 ，这是神经网络迅速发展的一个动力。如何使神经网络计算机与传统的计算机和人工智能技术相结合也是前沿课题；如何使神经网络计算机的功能向智能化发展，许多新型的高级神经计算机的研制，如电子人工神经网络计算机、光学人工神经网络计算机、生物分子人工神经网络计算机等的发展前景将十分巨大; 同时将研制更具人类神经网络特征的光电人工神经网络计算机、光电生物分子人工神经网络计算机将更具吸引力。

（6）神经网络与专家系统的结合。ANN的发展为专家系统的研究奠定了良好的基础，也使人们看到了解决专家系统“瓶颈”的希望。把神经网络与传统的专家系统有机地结合起来，协同工作，能达到取长补短的目的。

结语： 经过近半个世纪的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功，但其理论分析方法和设计方法还有待于进一步发展。相信随着神经网络的进一步发展，神经网络的应用领域将不断扩大，相信在未来的几年中有望在一些领域取得更大的成功，特别是多媒体技术、医疗、金融、电力系统等领域；并在智能化传感器、随机模式识别、实时知识处理、控制应用、最优化问题等方面克服现时的理论和技术障碍, 从实验室中走入实际生活和生产应用中去。放眼未来的环球必将是一个充满人工智能的世界。

参考文献

[1] 马锐.人工神经网络原理 机械工业出版社  2010.9

[2] 高隽.人工神经网络原理及其仿真实例 机械工业出版社  2007.2

[3] 喻宗泉 喻唅.神经网络控制 西安电子科技大学出版社  2009.1

[4] 熬志刚.人工智能及专家系统  机械工业出版社  2010.9

[5]《环球科学》2007年第1期

[6]《重庆环境科学》第25 卷第9 期　

[7] http://www.csai.cn　

[8] http://firesu.bokee.com

[9] http://baike.baidu.com

[10] http://www.china-b.com