四元数神经网络.docx
- 文档编号:671262
- 上传时间:2022-10-12
- 格式:DOCX
- 页数:10
- 大小:66.52KB
四元数神经网络.docx
《四元数神经网络.docx》由会员分享,可在线阅读,更多相关《四元数神经网络.docx(10页珍藏版)》请在冰豆网上搜索。
四元数神经网络
乘法:
p®q={p^+p⑴7+j+p⑻k)0(q©+q⑴7+q⑺/+q^k)=(p(e)g(e)-计)g®—卩⑺出)—卩仗屮,
⑴+p⑴产+p®q©_p閃q(n,
严护)—泸屮+护)奔+Z皆),
计)产+p⑴理-计h)+p©k))
共轨:
=x(e)-x^i-凶)j―x{k)k(p®q)*=/®p*
逆.二=
理-Ii2
卜I
数乘:
a=(a,0)
ax=(az(e),ax^\ax^\az仏))
神经元模型
Sp=〉:
U^pq
Up=f()5
激活函数:
f(s)=严)(s©)+严)(s(0”
J1for5>0
t-1fors<0
网络描述漓散时间双极值的Hopfield网络採用串行工作方式
(§{(£),⑴心)")}^{1.-1})
•网络权值矩阵
这里N表示样本向量的维数,即网络中神经元的个数』wp,qWN;np表示样本的个数,权值矩阵W是一个NXN的矩阵.
权值矩阵W是共轨对称,对角元非负的:
wpq=Mqp
=—r>0
•收敛性结果
、NN/N
能量函数:
£=飞工工听®wpq€>%+屁(刀B;®xp卩=lq=l\p=l
U!
矿=E
结果:
对于串行的离散时间双极值的四元数Hopfield网络,若权值矩阵共轨对称且对角元非负,则每次迭代后,能量函数E是单调减的(非严格)・
实验描述:
3个神经元存储1个样本
存储样本:
Ci={&小£学}
=(1/1,-14),
£1.2=(—1,1,—1,—1),
7
1
权值矩阵:
W=-
■
—%
1
k
1/
£1:
3=(1?
1丄一1)・
不动点:
由于网络中只存储了一个样本,勺和(■§)肯定是网络的不动点
£戸,1
J,2
$1
(1,1,-13)
(-1,1,-1,-1)
(1,1,1,-1)
2
(―1,1,1,—1)
(—1,—1,1,1)
3
(—1,1,—1,—1)
(-1,-1?
1?
-1)
(1,—1,—1,—1)
4
(-1JJJ)
(―1,—1,—1,1)
(-1,1,-1,-1)
5
(—1,1,—1,1)
(-1,-1,-1,-1)
(1,1,—1,—1)
6
(1,1,1,-1)
(-1,1,1,1)
(-1,-1,1,-1)
7
(1,1,—1,—1)
(―1丄1,—1)
(1,—1,1,—1)
8
(1,1,1,1)
(—1,1,—1,1)
(—1,1,1,一1)
—$9
(-1,-1.1,-1)
(1,-1.1.1)
(—1,—1・一1,1)
10
(-1,-1,-1,-1)
(1,—1,1,—1)
(1,—1,—1,1)
11
(—1,—1」1)
(1,—1,—1,1)
(—1,1,—1,1)
12
(—1,—1,—1,1)
(1,-1,-1,-1)
(1,1,-L1)
13
(1,—1」,一丄)
(1,1,1,1)
(—丄,一丄」丄)
14
(1,-1,-1,-1)
(1,1,1,-1)
(1,-1,1,1)
15
(1,-1,1,1)
(hi,-1J)
(-1,1,1,1)
16
(1,—1,—1,1)
(1,1,—1,—1)
(1,1,1,1)
表中的16个向量都是网络的不动点,并且权值矩阵W均
可以由表中任意一个向量产
{右,鼻…^16)称为一个多重态(multiplet);
知…点血称为样本右的退化模式(degeneratedpattern)・
单位变换:
孑二
■>!
—=
®Ct}
•多重态现象的原因
由于网络是双极值的,即四元数的每个分量只能取1或满足要求的
a只有16个,所以一组多重态所含向量的个数是16・
数域
一个多重态所含向量的个数
单位变换
实数域
2=21
1,-1
复数域
4=22
1,-1,i,-i
四元数
16=24
a〕,a?
a〔6
多重态现象的好处:
相当于扩大了“收敛域”,当网络收敛到右的退化模式也是有意义的,因为退化模式中的向量只要经过一个单位变换就可以变换为样本右.
1N
汉明距离:
㊁丫E(1—骑•总聘)一p=la={e.i,j.k}
例:
£={(UL1),(MU),(M1>
&二{(——1),(——1)浪LL1)}
<4)=8
多重态
(1=1
(1=2
(1=10
d二11
16
120
120
16
16
120
120
16
16
120
120
16
16
120
120
16
116
16
120
120
16
取4080个向量,按照汉明距离分成11组
浅灰:
收敛到相应向量深灰:
未收敛到相应向量
1234567891011
Distance
■数值试验2
实验描述:
4个神经元存储1个样本
存储样本:
&={&,1疋1,2上1,3^1,4}<1?
1=(1,1,1,1),
€1,2—(1,1,-1,-1),
£1,3=(-1J,-1,1),
£1,4=(1?
一4一41)・
权值矩阵:
(1
k-i
j\
“丁1
—k
1
■
7
■
%
W=-
4
•
-J
<#
1
k
■
—I
-k
V
取65520个向量,按照汉明距离分成15组
多重态
(1=1
d=2
(1=14
(1=15
16
120
120
16
16
120
120
16
16
120
120
16
16
120
120
16
5
16
120
120
16
(%)2e」-_e。
①CC
0
123456789101112131415
Distance
浅灰:
收敛到相应向量
中灰:
未收敛到相应向量但收敛到其退化模式黑色:
以上两种情况外
100
80
60
40
20
UL
-数值试验3
试验描述:
比较四元数Hopfield网络和实值Hopfield网络的抗噪声能力
1,釆用40个神经元
-1
X
11-1)、
〔1
-11-1)
〔1
f
-1-11)
•
■\
C-1
/
•
-111)
(1
-1-11)
-111》
样本:
岁=
四元数Hopfield网络
样本珞
1
实值Hopfield网络
-1
1
噪声:
只发生在四元数的实数部分,即只对g的第1列进行干扰;噪声率:
若噪声率为0・5,表示随机改变◎的第1列中的20个分量;收敛成功:
1)收敛到&
2)收敛到&的退化模式
-数值试验3
00
1
80
60
40
20
1,釆用40个神经元
00.10.20.30.40.5
Noiseratiointherealpartsoftheinputpatterns
100
80
60
40
20
0
0.10.20.30.40.5
Noiseratiointheinputpatterns
•数值试验3
2,采用100个神经元
100
80
60
40
20
100
0
00.10.20.30.40.5
Noiseratiointherealpartsoftheinputpatterns
80
60
40
20
0
0.10.20.30.40.5
Noiseratiointheinputpatterns
•数值试验3的结果分析
原因1:
四元数虚数部分信息对于实数部分的支持,试验中虚数部分信息是准确的,直观的解释就是由于四元数乘法规则造成的:
p®q=+p⑴z+p{J\f+”%)(8)(旷)+§⑴『+gU)/+©伉%)
二3勺⑹-计W)-p(力少)-戸⑹严),戸何护+护才)+卩⑺严)—卩⑹护),
p(荀(力_泸)严)+卩(力护)+计)弹护)护)+护)护)_计)畀+p(Qq®
原因2:
“收敛域”的扩大,即四元数多重态中的向量个数大于实数域
多重态中的向量个数.
1,
2,
3,
•问题
四元数Hopfield网络的存储容量和不动点
TSP问题
网络模型的推广
实数域
Hopfield模型
MLP模型
RBF模型
Hopfield模型
RBF模型?
MLP模型
复数域
Hopfield模型
MLP模型
RBF模型
rm—回上四兀数
阶前馈网络
高阶前馈网络?
高阶前馈网络?
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 四元数 神经网络