张量分解_精品文档PPT文档格式.ppt
- 文档编号:15480301
- 上传时间:2022-11-01
- 格式:PPT
- 页数:47
- 大小:2.64MB
张量分解_精品文档PPT文档格式.ppt
《张量分解_精品文档PPT文档格式.ppt》由会员分享,可在线阅读,更多相关《张量分解_精品文档PPT文档格式.ppt(47页珍藏版)》请在冰豆网上搜索。
基本概念及记号基本概念及记号5三三阶张量:
阶张量:
纤维(fiber)基本概念及记号基本概念及记号6mode-1mode-1(列)(列)纤维:
纤维:
mode-2mode-2(行)(行)纤维:
mode-3mode-3(管)(管)纤维:
切片(slice)基本概念及记号基本概念及记号7水平切片:
水平切片:
侧面切片:
正面切片:
内积和范数设内积:
(Frobenius)范数:
基本概念及记号基本概念及记号8秩一张量/可合张量N阶张量是一个秩一张量,如果它能被写成N个向量的外积,即基本概念及记号基本概念及记号9三三阶秩一张量:
阶秩一张量:
(超)对称和(超)对角立方张量:
各个mode的长度相等对称:
一个立方张量是对称的,如果其元素在下标的任意排列下是常数。
如一个三阶立方张量是超对称的,如果对角:
仅当时,基本概念及记号基本概念及记号10张量的(超)对角线张量的(超)对角线展开(matricization/unfolding/flattening)将N阶张量沿mode-n展开成一个矩阵基本概念及记号基本概念及记号11三三阶张量的阶张量的mode-1mode-1展开展开n-mode(矩阵)乘积一个张量和一个矩阵的n-mode乘积,其元素定义为这个定义可以写成沿mode-n展开的形式性质:
基本概念及记号基本概念及记号12n-mode(向量)乘积一个张量和一个向量的n-mode乘积,其元素定义为性质:
基本概念及记号基本概念及记号13矩阵的Kronecker乘积,则性质:
基本概念及记号基本概念及记号14矩阵的Kronecker乘积矩阵的Kronecker积还和张量和矩阵的n-mode乘积有如下关系基本概念及记号基本概念及记号15矩阵的Khatri-Rao乘积,则性质:
基本概念及记号基本概念及记号16矩阵的Hadamard乘积,则性质:
基本概念及记号基本概念及记号17CP分解18CP分解的其他名字PolyadicFormofaTensor,Hitchcock,1927PARAFAC(ParallelFactors),Harshman,1970CANDECOMP/CAND(Canonicaldecomposition),Carroll&
Chang,1970TopographicComponentsModel,Mcks,1988CP(CANDECOMP/PARAFAC),Kiers,2000CPCP分解分解19CP分解的张量形式将一个张量表示成有限个秩一张量之和,比如一个三阶张量可以分解为CPCP分解分解20三三阶张量的阶张量的CPCP分解分解CP分解的矩阵形式因子矩阵:
秩一张量中对应的向量组成的矩阵,如利用因子矩阵,一个三阶张量的CP分解可以写成展开形式CPCP分解分解21CP分解的切片形式三阶张量的CP分解有时按(正面)切片写成如下形式:
其中CPCP分解分解22三阶张量三阶张量CPCP分解的正面切片形式分解的正面切片形式带权CP分解为了计算方便,通常假设因子矩阵的列是单位长度的,从而需要引入一个权重向量,使CP分解变为对于高阶张量,有其展开形式为CPCP分解分解23张量的秩和秩分解张量的秩定义为用秩一张量之和来精确表示所需要的秩一张量的最少个数,记为秩分解:
可见秩分解是一个特殊的CP分解,对应于矩阵的SVD目前还没有方法能够直接求解一个任意给定张量的秩,这被证明是一个NP-hard问题CPCP分解分解24张量的秩不同于矩阵的秩,高阶张量的秩在实数域和复数域上不一定相同。
例如一个三阶张量在实数域内进行秩分解得到的因子矩阵为而在复数域内进行分解得到的因子矩阵为CPCP分解分解25张量的低秩近似相对于矩阵的SVD来说,高阶张量的秩分解唯一性不需要正交性条件保证,只需满足:
这里表示矩阵的k-秩:
任意k列都线性无关的最大的kCPCP分解分解26张量的低秩近似然而在低秩近似方面,高阶张量的性质比矩阵SVD差Kolda给出了一个例子,一个立方张量的最佳秩-1近似并不包括在其最佳秩-2近似中,这说明张量的秩-k近似无法渐进地得到下面的例子说明,张量的“最佳”秩-k近似甚至不一定存在CPCP分解分解27张量的低秩近似退化:
如果一个张量能够被一系列的低秩张量任意逼近边缘秩(borderrank):
能够任意逼近一个张量的最少的成分个数CPCP分解分解28秩秩22秩秩33一个秩为一个秩为22的张量序列收敛到一个秩的张量序列收敛到一个秩33张量张量CP分解的计算分解成多少个秩一张量(成分)之和?
通常的做法是从1开始尝试,知道碰到一个“好”的结果为止如果有较强的应用背景和先验信息,可以预先指定对于给定的成分数目,怎么求解CP分解?
目前仍然没有一个完美的解决方案从效果来看,交替最小二乘(AlternatingLeastSquare)是一类比较有效的算法CPCP分解分解29CP分解的计算以一个三阶张量为例,假定成分个数已知,目标为作为ALS的一个子问题,固定和,求解得再通过归一化分别求出和CPCP分解分解30CP分解的计算ALS算法并不能保证收敛到一个极小点,甚至不一定能收敛到稳定点,它只能找到一个目标函数不再下降的点算法的初始化可以是随机的,也可以将因子矩阵初始化为对应展开的奇异向量,如将初始化为的前个左奇异向量CPCP分解分解31CP分解的应用计量心理学语音分析化学计量学独立成分分析神经科学数据挖掘高维算子近似随即偏微分方程CPCP分解分解32Tucker分解33Tucker分解的其他名字Three-modefactoranalysis(3MFA/Tucker3),Tucker,1966Three-modeprincipalcomponentanalysis(3MPCA),Kroonenberg&
DeLeeuw,1980N-modeprincipalcomponentsanalysis,Kapteynetal.,1986Higher-orderSVD(HOSVD),DeLathauweretal.,2000N-modeSVD,VasilescuandTerzopoulos,2002TuckerTucker分解分解34Tucker分解Tucker分解是一种高阶的主成分分析,它将一个张量表示成一个核心(core)张量沿每一个mode乘上一个矩阵。
对于三阶张量来说,其Tucker分解为因子矩阵通常是正交的,可以视为沿相应mode的主成分TuckerTucker分解分解35Tucker分解容易看出,CP分解是Tucker分解的一种特殊形式:
如果核心张量是对角的,且,则Tucker分解就退化成了CP分解TuckerTucker分解分解36三三阶张量的阶张量的TuckerTucker分解分解Tucker分解的矩阵形式三阶Tucker分解的展开形式为Tucker分解可以推广到高阶张量TuckerTucker分解分解37Tucker2和Tucker1对于三阶张量固定一个因子矩阵为单位阵,就得到Tucker分解一个重要的特例:
Tucker2。
例如固定,则进一步,固定两个因子矩阵,就得到了Tucker1,例如令第二、三个因子矩阵为单位阵,则Tucker分解就退化成了普通的PCATuckerTucker分解分解38张量的n-秩近似一个N阶张量的n-秩定义为若设,则叫做一个秩-张量如果,则很容易得到的一个精确秩-Tucker分解;
然而如果至少有一个使得,则通过Tucker分解得到的就是的一个秩-近似TuckerTucker分解分解39张量的n-秩近似TuckerTucker分解分解40截断截断的的TuckerTucker分解:
秩分解:
秩-近似近似张量的n-秩近似对于固定的n-秩,Tucker分解的唯一性不能保证,所以需要添加其他的约束通常要求核心张量是“简单”的,如各个mode的主成分之间尽量不发生相互作用(稀疏性),或者其他的“简单性”约束TuckerTucker分解分解41Tucker分解的计算HOSVD:
利用SVD对每个mode做一次Tucker1分解(截断或者不截断)HOSVD不能保证得到一个较好的近似,但HOSVD的结果可以作为一个其他迭代算法(如HOOI)的很好的初始解TuckerTucker分解分解42Tucker分解的计算为了导出HOOI迭代算法,先考虑目标函数从而应该满足TuckerTucker分解分解43Tucker分解的计算目标函数的平方变为TuckerTucker分解分解44Tucker分解的计算所以问题可以进行如下转化利用交替求解的思想,问题变为解如下子问题这个问题可以通过令为的前个左奇异值向量来解决TuckerTucker分解分解45Tucker分解的应用化学分析计量心理学信号处理机器视觉(面部、动作)数据压缩纹理生成数据挖掘环境和网络建模TuckerTucker分解分解46欢迎大家提出宝贵建议欢迎大家提出宝贵建议47
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 张量 分解 精品 文档