《神经网络导论》实验二-双向联想记忆Word格式文档下载.docx
- 文档编号:13047300
- 上传时间:2022-10-03
- 格式:DOCX
- 页数:8
- 大小:51.83KB
《神经网络导论》实验二-双向联想记忆Word格式文档下载.docx
《《神经网络导论》实验二-双向联想记忆Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《《神经网络导论》实验二-双向联想记忆Word格式文档下载.docx(8页珍藏版)》请在冰豆网上搜索。
WBt→At+1
WTAt+1→Bt+2
WBt+2→At+3
⋯
直至A、B为稳态,演变过程结束。
网络学习遵从Hebb规则,若给定M个双极性矢量对:
A0,B0,A1,B1,⋯,(AM-1,BM-1)
则正,反向权矩阵为:
W=s=0M-1As,BsT
WT=s=0M-1Bs,AsT
如果BAM网络神经元函数值为0,则称为齐次BAM网络,其能量函数为:
EA,B=-12ATWB-12BTWTA=-ATWB
若神经元的非线性函数为f,则描述齐次BAM动态特性的差分方程为:
²
正向联想(B⟹A)
ait+1=f[j=1Pwijbjt]
反向联想(A⇒B)
bjt+2=f[j=1Pwijai(t+1)]
三、实验内容及步骤
1、选择齐次Kosko型BAM网络编制程序实现联想记忆。
设神经元非线性函数f为硬限幅函数,即f(x)=san(x);
当x=0时,神经元的输出维持不变。
2、根据Hebb规则算出网络的连接权矩阵并记录;
算出四对矢量所对应的稳定状态的能量值。
连接权值W=
4 2 2 -2 0 -2 0 -2 4 0
2 0 0 -4 2 0 2 0 2 -2
2 0 0 0 2 0 -2 -4 2 2
-2 -4 0 0 2 0 2 0 -2 -2
0 2 2 2 -4 -2 0 2 0 0
-2 0 0 0 -2 0 2 4 -2 -2
0 2 -2 2 0 2 -4 -2 0 4
-2 0 -4 0 2 4 -2 0 -2 2
0 -2 2 -2 0 -2 4 2 0 -4
0 -2 2 2 0 -2 0 -2 0 0
2 4 0 0 -2 0 -2 0 2 2
0 2 -2 -2 0 2 0 2 0 0
稳定状态能量值:
E=[-158-142-158-146]
3、验证网络的联想能力
经过Matlab编程验证,经过以上计算出的权值W和对称硬限幅函数的非线性作用,选择标准样本Ai进行迭代,观察上下两层的状态是否为(Ai,Bi)。
同样任选Bi输入观察稳定后的结果。
经过前面计算出的权值W和符号函数非线性作用,进行一次迭代,联想成功没有偏差。
即
Ai=sgnW*Bi,i=1,2,3,4
Bi=sgnWT*Ai,i=1,2,3,4
4、验证网络抗噪能力
以标准矢量A1随机两位取反形成畸变矢量
A1’=[1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1]T,
带入网络中迭代至稳定。
得到结果
A’1=A1,B’1=B1
过程经过两次迭代期间能量变化为:
E0=-118,E1=-142,E2=-158
5、噪声大小对联想能力的影响
统计4个矢量分别在1~3位上取反时的联想正确率。
对于每种情况取2000次运算得到平均性能。
表1噪声对网络联想力的影响
标准矢量
取反位数
迭代次数平均值
联想正确率
A1
1
2.0000
100%
2
98.97%
3
2.0975
95.58%
A2
2.0160
98.49%
2.1765
91.68%
A3
1.9200
99.52%
1.9905
98.51%
2.0636
95.21%
A4
2.0130
99.61%
89.71%
6、正反向联想抗噪能力
统计4个B矢量分别在1~3位取反时的联想正确率,记录结果并与第5步结果比较。
表2反向联想抗噪能力
B1
2.2160
91.75%
2.3360
77.03%
B2
1.8705
97.80%
2.0685
94.52%
2.3395
80.03%
B3
1.9020
99.02%
2.0270
91.43%
2.2030
74.40%
B4
1.7955
97.95%
2.0165
92.17%
2.1815
76.89%
四、实验思考题
1、在实验步骤4中观察网络能量E是如何变化的?
根据网络机理说明原因。
从步骤4中可以看出,网络能量E随着跌代的次数而减小。
这是因为双向联想网络是Hopfield网络的一种,所以也具有Hopfield网络特性。
而对于标准Hopfield网络,其能量函数E对时间的导数为负值,
dEdt=-iCidVidt2dfi-1VidVi≤0
也就是说网络总是朝着能量函数E减小的方向运动,且达到稳态时,E取极小值。
2、如果我们想要“擦除”存储矢量中的某对(Ai,Bi),应如何调整网络?
双向联想记忆网络特性主要体现在权值W上,如果想要“擦除”存储矢量中的某对(Ai,Bi),只需要对权值进行调整:
W'
=s=0,s≠iM-1As,BsT
或者更新权值为:
=W-Ai∙BiT
3、通过总结第5步和第6步的实验结果,能得出什么结论?
简要解释其中的原因。
随着矢量位取反的位数增多,即噪声的增大,网络达到稳态所需迭代次数增加。
随着网络噪声的增大,网络联想正确率下降,说明网络恢复的记忆力是有限的。
网络对各组矢量的联想记忆力是有限的,如果对其中一组矢量的记忆力增强,则另一组必定减弱。
对不同样本组记忆力大体相同,差异不大。
五、实验结论
双向联想记忆网络是一种特殊的Hopfield神经网络,具有信息记忆和信息记忆的功能。
Hopfield神经网络的特点是每个神经元的输出要反馈给除自身以外的其他所有神经元。
那么设网络上共有L个神经预案,使得W成为一个L×
L的矩阵,我们将L个神经元分成N、P两组。
如果每组内任一个神经元的输出都反馈给另一组的神经元输入,而不反馈给本组神经元输入端,这样可以将不反馈的部分的权值视为0。
所以Kosko型BAM网络就可以视为一种特殊的Hopfield网络。
对于双向联想记忆网络,它具有Hopfield网络所具有的一般特性,在实验中可以看到,随着时间的推移,网络在状态空间中总是朝着能量函数减小的方向移动,当网络达到稳定时,能量取得极小值。
随着网络噪声的增大,网络达到稳态所需迭代次数增加,网络联想正确率下降,同时说明网络恢复的记忆力是有限的。
Matlab主要源代码
1、Hebb规则
A(:
1)=[1-11-11-11-11-11-11-11];
2)=[11-1-111-1-111-1-111-1];
3)=[111-1-1-1111-1-1-1111];
4)=[1111-1-1-1-11111-1-1-1];
B(:
1)=[1111-1-1-1-111];
2)=[111-1-1-1111-1];
3)=[11-1-111-1-111];
4)=[1-11-11-11-11-1];
w(1:
15,1:
10)=0;
e(1:
4)=0;
fori=1:
4
w=w+A(:
i)*B(:
i)'
;
end
forj=1:
e(j)=-(A(:
j))'
*w*B(:
j);
A1=A(:
1);
B1=B(:
temp(15,1)=0;
TimeNum=0;
%isequal判断数组容量是否相等;
%hardlims对称硬限幅功能传输函数;
%%验证网络联想能力;
whileisequal(A1,temp)
temp=A1;
A1=hardlims(w*B1);
B1=hardlims(w*A1);
TimeNum=TimeNum+1;
End
2、网络迭代算法
%A1任两位取反
1).*(1-2*randerr(1,15,2)'
);
k)=0;
k=0;
ifA1~=A(:
1)
temp=A1(0);
B1(k+1)=hardlims(w'
*A1(k));
k=k+1;
A1(k+1)=hardlims(w*B1(k));
k
ChangeNum=length(find(A1~=A(:
1)))
disp('
timesofinteration'
disp(k);
E'
disp(e);
changenumber'
disp(ChangeNum);
ratioofcorrectness'
disp(1-ChangeNum/length(A1));
3、算法同2,重复2000次取平均值。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络导论 神经网络 导论 实验 双向 联想 记忆