BP神经网络实例.docx
- 文档编号:24738742
- 上传时间:2023-06-01
- 格式:DOCX
- 页数:23
- 大小:387.49KB
BP神经网络实例.docx
《BP神经网络实例.docx》由会员分享,可在线阅读,更多相关《BP神经网络实例.docx(23页珍藏版)》请在冰豆网上搜索。
BP神经网络实例
BP神经网络实例
第一章BP神经网络基本原理
一、BP神经网络基本概念
1、人工神经网络
人工神经网络ANN(ArtificialNeuralNetwork),是对人类大脑系统的一阶特性的一种描述。
简单地讲,它是一个数学模型,可以用电子线路来实现,也可以用计算机程序来模拟,是人工智能研究地一种方法。
近年来发展迅速并逐渐成熟的一种人工智能技术,其来源于对神经元细胞的模拟。
人工神经网络具有以下三个特点:
信息分布表示,运算全局并行与局部操作,信息非线性处理。
由于这三个特点,使得由人工神经网络构成的分类器具有强大的数据拟和与泛化能力,因而广泛运用于模式识别与机器学习领域。
神经网络模式识别的过程分为两步:
首先是学习过程,通过大量的训练样本,对网络进行训练,根据某种学习规则不断对连接权值进行调节,然后使网络具有某种期望的输出,这种输出就可以将训练样本正确分类到其所属类别中去,此时可以认为网络是学习到了输入数据或样本间的内在规律。
接下来是分类过程,应用前面学习过程所训练好的权值,对任意送入网络的样本进行分类。
人工神经网络模型各种各样,目前已有数十种。
他们从各个角度对生物神经系统的不同层次进行了描述和模拟。
代表模型有感知机、多层映射BP网、RBF网
络、HoPfiled模型、Boit~机等等。
虽然人工神经网络有很多模型,但按神经元的连接方式只有两种型态:
没有反馈的前向网络和相互结合型网络。
前向网络是多层映射网络,每一层中的神经元只接受来自前一层神经元的信号,因此信号的传播是单方向的。
BP网络是这类网络中最典型的例子。
在相互结合型网络中,任意两个神经元都可能有连接,因此输入信号要在网络中往返传递,从某一初态开始,经过若干变化,渐渐趋于某一稳定状态或进入周期震荡等其它状态,这方面典型的网络有Hopfiled模型等。
2、BP神经网络
BP算法是利用输出层的误差来估计输出层的直接前导层的误差,再用这个误差估计更前一层的误差。
如此下去,就获得了所有其他各层的误差估计。
这样就形成了将输出端表现出的误差沿着与输入信号传送相反的方向逐级向网络的输入端传递的过程。
因此,人们就又将此算法称为向后传播算法,简称BP算法
如下图所示:
输入层隐藏层输出层
算法过程为
(1)设置各权值和阈值的初始值w(l)[O],()[0](10,1,...,L)为小随机数。
(2)输入训练样本|q,dq,对每个样本进行(3)~(5)步。
(3)计算各个网络层的实际输出
x⑴f(s(l))f(w(l)x(l1)⑴)
(4)计算训练误差
(l)j
(dqjx(l))f'(s(l)),输出层
(l)j
nl1
f(j)°%kj,隐含层和输入层
k1
(5)修正权值和阈值
(w(:
)[k]W(l)[k1])
w('1)[k1]w(il)[k]j(l)x(l1)
(6)当样本集中的所有样本都经历了(
续下一个训练周期。
是小的正数,根据实际情况而定,例如0.01
3、流程图
根据BP网络的算法,我们可得流程图如下。
第二章BP神经网络实例分析
一、实例要求
1、f|(x)cos(x),x(0,2)
取九个点来训练网络,然后得出拟合曲线。
2、f2(x)sin(x),x(0,2)
取适当数量训练点来训练网络,然后得出拟合曲线
c「sinxsiny
3、f3x,y;x,y(10,10)
xy
取11*11个点来训练网络,并用21*21个点测试拟合的曲面
1、第一个函数:
f1(x)cos(x),x(0,2)
学习曲线
x
1
0.8
0.6
0.4
y
-0.2
-0.4
-1
-0.6
-0.8
0
检验曲线
12
345
x
67
误差曲线
200400
600
80010001200
训练次数
2
值差误
5a
5
2
5.
(2)学习率为0.2,训练次
数为3300时
训练过程如学习曲线所示,
圈圈为学习后产生的,折线为标
准函数点连线。
检验过程如检验
曲线所示,点序列为拟合曲线上
1400
的点,曲线为标准函数曲线。
误
差曲线如右图所示
(2)学习率为0.01,训练次数为3300时的曲线
学习曲线
1.5
1・、
0.5
s■-
c
y
0・J
-0.5・J
-1[i[i[i[
01234567
x
从函数1可以看出,学习率比较大时,曲线收敛比较快,可以比较快速达到精度要求。
但实际上,学习率比较大时(即收敛步长比较大),容易超出收敛边界,反而收敛导致不稳定,甚至发散。
2、第二个函数:
f2(x)sin(x),x(0,2)
(1)学习率为0.2,样本点数为10,学习次数为5000时的曲线如下:
1.4
学习曲线
1.2
0.8
0.6
0.4
0.2
x
x
1.1
1
0.9
0.8
0.7
0.6
0.5
0.4
0500100015002000250030003500400045005000
训练次数
(2)学习率为0.2,样本点数为30,学习次数为5000时的曲线如下:
学习曲线
oooo
1XVSOC--y
1.2
x_£aoc=y
检验曲线
1
0.8
0.6
0.4
0.2
0
01234567
x
-0.2
01234567
x
从函数2可以看出,样本点个数越多时,曲线精度越高。
但学习时间会有所增加。
f3x,y
sinxsiny
;x,y(10,10)
xy
学习率为
0.1,动量项学习率为0.05,训练次数为5000,训练样本数为
11*11
图形如下:
15
10
5
5
10
0.5
-0.5
15
学习期望输岀
00
15
检验期望输出
检验实际输出
误差曲线
隐含层采用S形函数
%精度要求
%学习率
%训练样本数
%训练次数
%检验样本数
%输入层阈值
%第一层隐含层阈值
%第二层隐含层阈值
%输出层阈值
%输入信号为两个
%第一层隐含层与第二层隐含层的权系数
%第二层隐含层与输岀层的权系数
%符号变量,用于两个输入值
附:
程序源代码
第一个和第二个函数的程序:
%此BP网络为两层隐含层,每个隐含层4个节点。
输入输岀各一层%输入层和输岀层均采用恒等函数,clearall;
closeall;
b=0.01;
a=0.2;
c=2;
Num=30;
N=3300;
Nj=80;
o0=rand(2,1);
o1=rand(4,1);
o2=rand(4,1);
o3=rand(1,1);
w1=rand(4,2);
w2=rand(4,4);
w3=rand(1,4);
symsxy;
%fcn=cos(x);
fcn=abs(sin(x));
x0=0:
2*pi/(Num-1):
2*pi;
y0=0:
2*pi/(Num-1):
2*pi;
x=x0;
y=y0;
X(1,:
)=x0;
X(2,:
)=y0;
yf=eval(fcn);
x3=zeros(1,Num);
time=0;
forj=1:
1:
N
fori=1:
1:
Num%前向计算:
s1=ww1*X(:
i)-o1;
x1=1./(1+exp(-s1));s2=w2*x1-o2;
x2=1./(1+exp(-s2));
S3=w3*x2-o3;%x3=1./(1+exp(-s3));x3(i)=s3;
%反向计算:
%被学习的函数
%输入的训练样本
%输出的训练样本
%第一层隐含层输岀
%第二层隐含层输岀
%输出层输出
%输岀层误差
%第二层隐含层误差
%第一层隐含层误差
%权值修正
%阈值修正
炳差
%己录学习次数
%e3=(yf(i)-x3)./(exp(s3)+2+exp(-s3));
e3=yf(i)-x3(i);
e2=((w3)'*e3)./(exp(s2)+2+exp(-s2));
e1=((w2)'*e2)./(exp(s1)+2+exp(-s1));
艰值和阈值修正
w3=w3+a*e3*(x2)';
w2=w2+a*e2*(x1)';
w1=ww1+a*e1*(X(:
i))';
o3=o3-a*e3;
o2=o2-a*e2;
o1=o1-a*e1;
end
E(j)=0.5*((yf-x3)*(yf-x3)');time=time+1;
ifE(j)
break
end
end
%佥验
m=0:
2*pi/(Nj-1):
2*pi;n=0:
2*pi/(Nj-1):
2*pi;x=m;
y=n;ym=eval(fcn);M(1,:
)=x;M(2,:
)=y;m3=zeros(1,Nj);
fori=1:
1:
Nj
S1=ww1*M(:
i)-o1;
m1=1./(1+exp(-S1));S2=w2*m1-o2;m2=1./(1+exp(-S2));
S3=w3*m2-o3;%m3(i)=1./(1+exp(-S3));m3(i)=S3;
end
figure
(1);plot(m,ym,'g-'holdonplot(m,m3,'r.');title(
xlabel('x');
ylabel('y=cos(x)');
figure
(2);plot(x0,yf,holdonplot(x0,x3,'ro');title(xlabel('x');
ylabel('y=cos(x)');k=1:
time;
figure(3);plot(k,E);title(xlabel('训练次数');ylabel('误差值’);
%期望输岀
%第一层隐含层输岀
%第二层隐含层输岀
%输出层输出
);
检验曲线');
'b-');
'学习曲线’);
'误差曲线');
第三个函数的程序
%此BP网络为两层隐含层,每个隐含层10个节点。
输入输岀各一层
%输入层和输岀层均采用恒等函数,隐含层采用S形函数
clearall;
closeall;
b=0.05;
a=0.1;
c=0.05;
Num=11;
N=5000;
Nj=21;
o0=rand(2,1);
o1=rand(10,1);
o2=rand(10,1);
o3=rand(1,1);
w1=rand(10,2);
w2=rand(10,10);
w3=rand(1,1O);
o1_before=zeros(4,1);
o2_before=zeros(4,1);
o3_before=zeros(1,1);
w1_before=zeros(4,2);
w2_before=zeros(4,4);
w3_before=zeros(1,4);
o1_next=zeros(4,1);
o2_next=zeros(4,1);
o3_next=zeros(1,1);
w1_next=zeros(4,2);
w2_next=zeros(4,4);
w3_next=zeros(1,4);
[x0,y0]=meshgrid(-10:
20/(Num-1)-0
yf=(sin(xO).*sin(yO))./(xO.*yO);
x3=zeros(Num,Num);
%精度要求
%学习率
%动量项学习率
%训练样本数
%训练次数
%检验样本数
%输入层阈值
%第一层隐含层阈值
%第二层隐含层阈值
%输出层阈值
%输入层与第一层隐含层的权系数
%第一层隐含层与第二层隐含层的权系数
%第二层隐含层与输岀层的权系数
%用于存储前一次的阈值
%用于存储前一次的权值
%用于存储后一次的阈值
%用于存储后一次的权值
.001:
10);%输入的训练样本
%被学习的函数
time=0;
E=zeros(1,N);
forj=1:
1:
N
fori=1:
1:
Num
forh=1:
1:
Num
X=zeros(2,1);
X(1,:
)=x0(i,h);
X(2,:
)=y0(i,h);
%前向计算:
s1=w1*X-o1;
x1=1./(1+exp(-s1));
s2=w2*x1-o2;
x2=1./(1+exp(-s2));
S3=w3*x2-o3;
%x3=1./(1+exp(-s3));x3(i,h)=s3;
%反向计算:
%第一层隐含层输岀
%第二层隐含层输岀
%输出层输出
%e3=(yf(i)-x3)./(exp(s3)+2+exp(-s3));e3=yf(i)-x3(i);
e2=((w3)'*e3)./(exp(s2)+2+exp(-s2));
e1=((w2)'*e2)./(exp(s1)+2+exp(-s1));
w3_next=w3+a*e3*(x2)'+c*(w3-w3_before);
w2_next=w2+a*e2*(x1)'+c*(w2-w2_before);
w1_next=w1+a*e1*X'+c*(w1-w1_before);
o3_next=o3-a*e3+c*(o3-o3_before);
o2_next=o2-a*e2+c*(o2-o2_before);
o1_next=o1-a*e1+c*(o1-o1_before);
w1_before=w1;w2_before=w2;w3_before=w3;
o1_before=o1;o2_before=o2;o3_before=o3;
%输岀层误差
%第二层隐含层误差
%第一层隐含层误差
%权值修正
%阈值修正
w1=w1_next;w2=w2_next;w3=w3_next;
o1=o1_next;o2=o2_next;o3=o3_next;
d=yf(i,h);
y=x3(i,h);
E(j)=E(j)+0.5*((d-y)A2);%方差
end
endtime=time+1;
ifE(j) %记录学习次数 end end %佥验 [m,n]=meshgrid(-10: (20/(Nj-1)-0.001): 10);ym=(sin(m).*sin(n))./(m.*n); m3=zeros(Nj,Nj); fori=1: 1: Nj
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 实例