神马文学网人工神经网络
来源：百度文库 编辑：神马文学网 时间：2024/04/30 07:32:41
人脑具有高度智能的复杂系统，它不必采用繁复的数字计算和逻辑运算，却能灵活处理各种复杂的，不精确的和模糊的信息。人脑的信息处理机制极其复杂，从结构上看它是包含有140亿神经细胞的大规模神经网络。单个神经元细胞的工作速度并不高（毫秒级），但它通过超并行处理使得整个系统实现处理的高速性和信息表现的多样性。
每个神经元都包括三个主要部分：树突、细胞体和轴突。树突的作用是向四方收集由其他神经细胞传来的信息。细胞体是神经元接受与处理信息的部件。轴突的功能是传出从细胞体送来的信息。在两个神经细胞之间的相互连接触点称为突触。
每个神经元具有兴奋和抑制两种状态，只有当所有外来刺激（输入）作用之和超过某一阀值后，神经元由抑制变为兴奋，并输出电脉冲。神经元之间连接的强弱可随外部的激励信号自适应地变化。这就是一般神经网络建模的生物依据。
人工神经网络（Artificial Neutral Networks,简称ANN）是由大量简单的基本元件——神经元相互连接，模拟人的大脑神经处理信息的方式，进行信息并行处理和非线性转换的复杂网络系统。人工神经网络的基本单元的神经元模型，它有四个基本要素：
（1）一个求和单元，用于求取各输入信号的加权和（线性组合）。
（2）每个神经元有一个阈值。
（3）一组连接（对应于生物神经元的突触），连接强度有个连接上的权值表示，权值为正表示激活，为负表示抑制。
（4）一个激活函数，起映射作用并将神经元输出幅度限制在一定范围内。
首先构筑合适的人工神经网络结构，固定处理单元（神经元）的数目，然后通过信息样本对神经网络的训练，不断改变处理单元间的连接强度对网络进行训练，使 其具有人的大脑的记忆、辨识能力，完成各种信息的处理功能。人工神经网络具有良好的自学习、自适应、联想记忆、并行处理和非线形转换的能力，避免了复杂数 学推导，在样本缺损和参数漂移的情况下，仍能保证稳定的输出。神经网络除在模式识别、非线性动态处理及自动控制等领域显示出极强的生命力外，还在预测、评 价等方面取得了很好的应用效果。
神经网络的学习规则可以粗略分成3类，这些类别分别如下：
第一类学习规则称相关学习规则。这种规则只根据连接间的激活水平改变权系数。常用于自联想网络，如Hopfield网络。
第二类学习规则称纠错学习规则。这种规则根据输出节点的外部反馈改变权系数。在方法上它和梯度下降法等效，按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。感知器学习就采用这种纠错学习规则．例如BP算法。用于统计性算法的模拟退火算法也属于这种学习规则。
第三类学习规则称无教师学习规则。它是一种对输入测检进行自适应的学习规则。ART网络的自组织学习算法即属于这一类。
人工神经网络的实质反映了输入转化为输出的一种数学表达式，这种数学关系是由网络的结构确定的。一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。另一方面, ANN对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵活性和自适应性。
人工神经网络模型有许多种，目前应用最多的还是Rumelhart等提出误差反向传播模型(Error Back Propagation),称BP模型，采用最小均方差学习方式。BP网路需有教师训练。
输 入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影 响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。反向传播时，把误差信号按原来正向传播的通路反向传回，并 对每个隐层的各个神经元的权系数进行修改。然后再转向正向传播过程，随着模式正向传播和误差反向传播的反复交替，网络得到了记忆训练,当网络的全局误差小于给定的值后学习终止，即可得到收敛的网络和相应稳定的权值。网络学习过程实际就是建立输入模式到输出模式的一个映射，也就是建立一个输入与输出关系的数学模型.
Xi(t+1)=fi[ui(t+1)]
BP网络建模特点：
• 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。
• 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。
• 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。
• 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。
• 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题
合理BP网络模型是必须在具有合理隐层节点数、训练时没有发生“过拟合”现象、求得全局极小点和同时考虑网络结构复杂程度和误差大小的综合结果。
每个神经元都包括三个主要部分：树突、细胞体和轴突。树突的作用是向四方收集由其他神经细胞传来的信息。细胞体是神经元接受与处理信息的部件。轴突的功能是传出从细胞体送来的信息。在两个神经细胞之间的相互连接触点称为突触。
每个神经元具有兴奋和抑制两种状态，只有当所有外来刺激（输入）作用之和超过某一阀值后，神经元由抑制变为兴奋，并输出电脉冲。神经元之间连接的强弱可随外部的激励信号自适应地变化。这就是一般神经网络建模的生物依据。
人工神经网络（Artificial Neutral Networks,简称ANN）是由大量简单的基本元件——神经元相互连接，模拟人的大脑神经处理信息的方式，进行信息并行处理和非线性转换的复杂网络系统。人工神经网络的基本单元的神经元模型，它有四个基本要素：
（1）一个求和单元，用于求取各输入信号的加权和（线性组合）。
（2）每个神经元有一个阈值。
（3）一组连接（对应于生物神经元的突触），连接强度有个连接上的权值表示，权值为正表示激活，为负表示抑制。
（4）一个激活函数，起映射作用并将神经元输出幅度限制在一定范围内。
首先构筑合适的人工神经网络结构，固定处理单元（神经元）的数目，然后通过信息样本对神经网络的训练，不断改变处理单元间的连接强度对网络进行训练，使 其具有人的大脑的记忆、辨识能力，完成各种信息的处理功能。人工神经网络具有良好的自学习、自适应、联想记忆、并行处理和非线形转换的能力，避免了复杂数 学推导，在样本缺损和参数漂移的情况下，仍能保证稳定的输出。神经网络除在模式识别、非线性动态处理及自动控制等领域显示出极强的生命力外，还在预测、评 价等方面取得了很好的应用效果。
神经网络的学习规则可以粗略分成3类，这些类别分别如下：
第一类学习规则称相关学习规则。这种规则只根据连接间的激活水平改变权系数。常用于自联想网络，如Hopfield网络。
第二类学习规则称纠错学习规则。这种规则根据输出节点的外部反馈改变权系数。在方法上它和梯度下降法等效，按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。感知器学习就采用这种纠错学习规则．例如BP算法。用于统计性算法的模拟退火算法也属于这种学习规则。
第三类学习规则称无教师学习规则。它是一种对输入测检进行自适应的学习规则。ART网络的自组织学习算法即属于这一类。
人工神经网络的实质反映了输入转化为输出的一种数学表达式，这种数学关系是由网络的结构确定的。一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。另一方面, ANN对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵活性和自适应性。
人工神经网络模型有许多种，目前应用最多的还是Rumelhart等提出误差反向传播模型(Error Back Propagation),称BP模型，采用最小均方差学习方式。BP网路需有教师训练。
输 入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影 响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。反向传播时，把误差信号按原来正向传播的通路反向传回，并 对每个隐层的各个神经元的权系数进行修改。然后再转向正向传播过程，随着模式正向传播和误差反向传播的反复交替，网络得到了记忆训练,当网络的全局误差小于给定的值后学习终止，即可得到收敛的网络和相应稳定的权值。网络学习过程实际就是建立输入模式到输出模式的一个映射，也就是建立一个输入与输出关系的数学模型.
Xi(t+1)=fi[ui(t+1)]
BP网络建模特点：
• 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。
• 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。
• 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。
• 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。
• 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题
合理BP网络模型是必须在具有合理隐层节点数、训练时没有发生“过拟合”现象、求得全局极小点和同时考虑网络结构复杂程度和误差大小的综合结果。