爱吧机器人网 » 技术 > 神经网络 > 正文

一种RBF神经网络的自适应学习算法

引言
    径向基函数(Radial Basis Function,RBF)神经网络具有结构简单,学习速度快等优点,在函数逼近、系统辨识、模式识别等领域得到了广泛应用
    构造RBF网络的关键是合理选取径向基函数的数量和中心向量。目前,比较常用的方法主要有K均值聚类法、C-Means算法等。这些方法都是在人为确定径向基函数的数量和初始向量之后,采用基于欧氏距离的最近邻方法来实现聚类的。对于类间距离大,类内距离小的样本可以得到比较不错的结果,而对于类间交错较大,类内距离大的情形,这种方法的分类能力将严重减弱,从而不利于网络的泛化应用。另外,网络的训练过程和工作过程完全独立,如果外部环境发生变化,系统的特性会随之发生变化,由此需要重新对网络进行训练,这使问题变得更加复杂,也使网络的应用领域受到限制。
    针对以上算法存在的问题,本文提出了一种RBF网络的自适应学习算法。该算法事先不需要确定RBF的数量和中心向量,而是在学习过程中,根据误差在输入空间的分布,自适应地增加RBF的数量,并适当调节中心向量。为了不使RBF的数量过于膨胀,还制定了相应的删除策略,该策略通过综合评价每个RBF对网络所作的贡献,然后删除贡献小的RBF,使网络结构始终保持简洁。

1 RBF神经网络
    RBF网络是一种三层前馈网络,由输入层、输出层和隐层组成。其中,输入层和输出层皆由线性神经元组成;隐层的激活函数(核函数)采用中心径向对称衰减的非负非线性函数,其作用是对输入信号在局部产生响应。输入层与隐层之间的权值固定为1,只有隐层与输出层之间的权值可调。
    设输入矢量x=(x1,x2,…,xn)T,隐层节点个数为m,RBF网络的输出可表示为:
    \
    式中:ωi是第i个隐层节点与输出层之间的权值;φi(‖x—ci‖),i=1,2,…,m为隐层激活函数。通常采用如下高斯函数:
    \
    式中:σi和ci分别表示该隐层节点的宽度和中心矢量;‖·‖是欧氏范数。

2 RBF网络自适应学习算法
    RBF选取得越多,网络的逼近精度越高,但同时也会使网络的泛化能力下降,因此,在满足一定逼近精度的条件下,应选取尽可能少的中心向量,以保证网络有较好的泛化能力。本文提出的算法,根据网络的输出误差在输入空间的非均匀分布,以及每个RBF对网络所作贡献的大小,通过相应的添加和删除策略对网络参数进行自适应调整,使网络的逼近性能和泛化能力都达到较高的要求。同时,网络的训练和工作可以交替进行,所以它能够适应外界环境的缓慢变化。
2.1 添加策略
   
添加策略综合考虑了网络输出误差在输入空间的非均匀分布。需要统计每个输入矢量产生的输出误差,然后通过比较找出误差相对较大的点,再在这些点附近适当地插入隐层节点。
    设(xk,yk),k=1,2,…,N是一组训练样本,初始时刻,隐层节点数为零,每次执行添加操作,依据以下准则判断是否添加隐层节点:
    \
    式中:\是网络输出均方误差;ck,nearest和xk,nearest分别对应与输入向量xk最接近的隐层节点中心和输入向量。如果满足添加条件,则将(xk+xk,nearest)/2设为新的隐层节点中心,将ek设为新节点的权值,中心宽度取\
2.2 删除策略
   
由于RBF神经网络是一种局部感知场网络,网络总的输出取决于隐层与输出层之间的权值和隐层节点中心与输入矢量之间的距离。进行训练时,所选取的训练样本相对比较稀疏。当某一个隐层节点中心离每一个输入矢量都很远时,即使其权值是一个较大的数,也不会对输出产生太大的影响。在训练结束后进行检验的过程中,检验的数据一般都比较密集,若某些输入矢量离该隐层中心较近,则输出会受到很大的影响,这使网络的泛化能力变差。因此需要制定一种策略来删除这样的隐层节点,由此引入了删除策略。
    删除策略是针对每个隐层节点对整个网络所作贡献的大小不同而提出的。贡献大的节点,继续保留;贡献小的节点,则删除。对任意隐层节点i,用Ai来表示它对整个网络所作的贡献。Ai定义为:
    \
    执行删除操作前,先对Ai进行归一化处理,即\。最后的判断规则为:若\,则删除第i个隐层节点,其中θ为判决门限。
    在采用梯度下降法调整隐层节点中心位置和权值的过程中,需要计算每个输入矢量对应的输出误差ek,以及每个隐层节点的输出值φ(‖xk-ci‖)。而执行添加和删除操作时也需要计算ek和φ(‖xk-ci‖)。为了减小计算量,提高运算效率,可以在调整隐层的中心位置和权值的过程中先保存ek和φ(‖xk-ci‖)的值。
2.3 算法流程
   
自适应RBF神经网络学习算法的具体流程如图1所示。对RBF进行训练之前,先确定最大训练次数M和训练允许误差Er,作为训练结束的条件。

\

上一页12下一页

上一篇:基于优化神经网络的三相全控整流电路故障诊断
下一篇:神经系统或将使机器人拥有痛感
精选推荐
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

麻省理工学院最新研究:优化软体机器人的控制和设计
麻省理工学院最新研究:优化软体机器人的控制和设计

[2019-11-24]  软体机器人属于一个新的领域,它可能在诸如外科手术等领域发挥重要作用(手术时的纳米机器人需要在人体内部移动而不损伤软组织)。软体机器 ...

什么是机器人学?机器人学简介
什么是机器人学?机器人学简介

[2017-12-14]  机器人学是工程学与科学的交叉学科,包括机械工程,电气工程,计算机科学等。机器人技术涉及机器人的设计、制造、操作和应用,以及用于控制、感官反馈和信息处理的计算机系统。...

美国普渡大学研发快动作软体机器人,灵感来自变色龙舌头捕食
美国普渡大学研发快动作软体机器人,灵感来自变色龙舌头捕食

[2019-10-31]  本文图片均来自:Ramses v Martinez 普渡大学变色龙、蝾螈和许多蟾蜍利用积蓄的弹性能量,向距离1 5倍体长的毫无防备的昆虫伸出粘糊糊的舌 ...

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

揭秘达芬奇手术机器人
揭秘达芬奇手术机器人

[2018-04-19]  达芬奇手术系统是由美国Intuitive Surgical公司制造的机器人手术系统。美国食品和药物管理局(FDA)于2000年通过该标准,旨在利用微创手段 ...

麻省理工又秀神技:推出如魔法般跳跃的方块机器人集群
麻省理工又秀神技:推出如魔法般跳跃的方块机器人集群

[2019-10-31]  几天前,小编向大家介绍过麻省理工(MIT)研发的一种自组装机器人集群(点此阅览),它们可以用统一标准的小单元自动组装出各种大型结构。 ...

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

本周栏目热点

用中文传话游戏理解RNN

[2018-05-31]  循环神经网络(RNN)是人工神经网络中非常流行的一个版本,其可以很好地处理序列数据类型。该数据类型指的是将一组数据点以特定顺序排列,从而使相关的数据点一个挨着一个,具......

[2016-11-20]   Hopfield网络是 神经网络 发展历史上的一个重要的里程碑。Hopfield 神经网络 是1982年美国物理学家J Hopfield首先提出来的,属于 ...

神经网络和模糊逻辑的工作流

[2016-11-20]   行业观察 神经网络 和模糊逻辑的工作流 null 来源:神州数码erp 发布时间: 2009-10-14 9:06:01 关键词: 工作流,协同,B2B,OA  以下 ...

[2016-11-20]   在感知器和线性 神经网络 的学习 算法 中,理想输出与实际输出之差被用来估计神经元连接权值的误差。当为解决线性不可分问题而引 ...

[2016-11-20]     黄希敏(陕西教育学院 陕西 西安 710061)  BP(Back Propagation) 神经网络 是一种多层前馈 神经网络 ,该网络的主要特点 ...