自然图像、高光谱图像、医学图像、视频以及社交网络数据本质上都属于多模态数据，张量是多模态数据的自然表示形式，近十余年来，张量学习的研究引起了国内外研究者的广泛关注，并取得了一批非常优秀的成果，被广泛应用于机器学习、模式识别、图像处理、计算机视觉、数据挖掘以及社交网络分析等领城，本书从张量的基本概念和代数运算出发，基于多元统计分析和小祥本学习理论的两条主线，详细归纳和总结了国内外研究者在张量分解、张量子空间学习、有监督张量学习、带噪声和缺失数据的张量子空间学习、张量子空间学习在图像补全和去噪中的应用、张量子空间学习在数据挖掘中的应用等方面取得的最新成果。 本书可作为统计学、计算数学、计算机科学、人工智能、自动化以及大数据等有关专业的高年级本科生和研究生教学参考书，也可作为机器学习、模式识别、图像处理、计算机视觉、数据挖掘和社交网络分析等领域的教师与科研工作者的参考书。

第1章 张量的基本概念和代数运算
　　张量分析是连续介质力学的重要数学基础[1， 2]， 广泛应用于流体力学、弹性力学、塑性力学、材料力学、理论力学、量子力学等力学分支中.*近十余年来， 基于多模态数据(自然图像、高光谱图像、医学图像、视频、社交网络数据)的张量表示和多元统计分析， 研究者把它广泛应用于机器学习、模式识别、图像处理和数据挖掘等人工智能领域[3-6].由于使用的对象和目的不同， 在力学和人工智能领域中， 张量的定义和代数运算存在一些描述的不同之处.为了让交叉学科的研究者能够从数学角度更好地理解张量的定义及其代数运算的本质， 在本章中， 我们*先根据文献[1]从并矢的角度出发介绍张量的定义及其代数运算， 然后详细讨论机器学习、模式识别、图像处理和数据挖掘领域中的张量定义及其代数运算与力学中相关概念的联系.
　　1.1 矢量及其代数运算
　　定义1-1(矢量) 在三维欧氏空间中， 矢量是具有大小和方向且满足一定规则的实体， 用小写黑体字母表示， 例如: u， v， w等.它们所对应矢量的大小(模或者值)分别用|u|， |v|， |w|表示.称模为零的矢量为零矢量， 用0表示.称与矢量u的模相等但方向相反的矢量为u的负矢量， 用.u表示.
　　矢量满足下列规则.
　　(1)相等: 如果两个矢量具有相同的模和方向， 则称两个矢量相等.
　　(2)矢量和: 按照平行四边形法则定义矢量和.同一空间中两个矢量之和仍然是该空间中的一个矢量.矢量和满足交换律u+v=v+u和结合律(u+v)+w=u+(v+w).
　　(3)数乘矢量: 矢量u乘实数a仍是同一空间中的矢量， 记作.数乘矢量满足分配律和结合律(ab)u=a(bu).
　　定义1-2(线性相关) 矢量组线性相关是指存在一组不全为零的实数， 使得.
　　定义1-3(线性无关) 矢量组线性无关是指当一组实数全为零时， 才成立.
　　定义1-4(矢量的维数) 一个矢量空间所包含的*大线性无关矢量的数目称为该矢量空间的维数.
　　定义1-5(矢量的点积) 两个矢量u和v的点积， 式中(u， v)表示矢量u和v的夹角.
　　定义1-6(矢量的叉积) 两个矢量u和v的叉积(也称矢积)是垂直于u和v构成的平面的另一个矢量， 定义为
　　(1-1-1)
　　三个矢量的二重叉积满足恒等式
　　定义1-7(矢量的混合积) 三个矢量的混合积为.在三维欧氏空间中， 令， 其中是基矢量， 则
　　1.2 斜角直线坐标系的基矢量和矢量分量
　　设平面内坐标线互不正交的直线坐标系x1， x2如图1-1所示.其中， g1和g2是沿坐标线x1和x2的参考矢量.对于任意的矢量P， 设它在g1和g2上的投影分量分别为p1和p2， 则P可以表示为下列形式:
　　(1-2-1)
　　设与gi(i=1， 2)对偶的矢量gj(j=1， 2)满足下列条件:
　　(1-2-2)
　　(1-2-3)
　　则称gi(i=1， 2)和gj(j=1， 2)分别为协变基矢量和逆变基矢量.显然， 我们称其为矢量P的逆变分量.
　　图1-1 平面内的斜角直线坐标系设
　　P在g1和g2上的投影分量分别为p1和p2， 则P也可以表示为下列形式:
　　(1-2-4)
　　显然， 我们称其为矢量P的协变分量.在笛卡尔坐标系中， 基矢量是标准正交基， 一组协变基矢量和对应的逆变基矢量完全重合， 不需要区分上下指标.
　　三维空间中的点位置可以用原点到该点的矢量表示(见图1-2).对于直线坐标系， r与坐标呈下列线性关系:
　　(1-2-5)
　　图1-2 三维空间中的斜角直线坐标系
　　协变基矢量和逆变基矢量gi的几何关系见图1-3.
　　图1-3 逆变基矢量与斜变基矢量的集合关系
　　由和矢量叉积的定义1-6， 我们知道: g1平行于矢量g2×g3.令g1=αg2×g3， 由g1 g1=1可得
　　(1-2-6)
　　从而
　　(1-2-7)
　　其中
　　同理， 我们可以得到
　　(1-2-8)
　　(1-2-9)
　　令
　　(1-2-10)
　　(1-2-11)
　　则有
　　(1-2-12)
　　其中
　　矢量P对协变基矢量和逆变基矢量的分解式分别如下所示
　　(1-2-13)
　　(1-2-14)
　　且有
　　(1-2-15)
　　(1-2-16)
　　上述两个公式称为矢量分量的指标升降关系.
　　1.3 张量的定义及表示
　　任意两个矢量a和b并写在一起称为并矢， 一般记作ab.并矢ab与任意的矢量f之间的点积满足下列规则
　　(1-3-1)
　　(1-3-2)
　　显然， 上述表达式所表示的变换是线性变换.
　　由并矢的定义可知: 除交换律之外， 并矢服从初等代数的运算规律:
　　(1)结合律
　　(1-3-3)
　　(1-3-4)
　　(1-3-5)
　　(2)分配律
　　(1-3-6)
　　(1-3-7)
　　(1-3-8)
　　(1-3-9)
　　设
　　(1-3-12)
　　显然， 并矢ab代表了由并基矢量eiej组成空间中的点， 该点可以记成下列矩阵:
　　(1-3-13)
　　一般来说， N个矢量a1， a2， ， aN的并矢a1a2 aN称为N阶并矢.
　　下面， 我们从并矢的角度给出张量的定义.设由N个矢量a1∈RI1， a2∈RI2， ， aN∈RIN形成的N阶并矢空间中的点T是由I1I2 IN个有序数Ti1， i2， ， iN组成的集合， 从形式上可以看成I1I2 IN维空间中的一个点.在旧坐标系和新坐标系中， 我们分别用和表示同一个点的坐标分量. 如果
　　(1-3-14)
　　则称T为N阶张量.
　　与矢量类似， 我们可以把张量看作一个实体， 即将张量表示成各个分量与基张量的组合， 称为张量的实体表示法(并矢表示法).如在同一个坐标系中， N阶张量T可以表示为
　　(1-3-15)
　　利用协变基矢量和逆变基矢量之间的关系， 我们可以把张量T表示为下列形式:

目录
“统计与数据科学丛书”序
前言
第1章张量的基本概念和代数运算1
1.1矢量及其代数运算1
1.2斜角直线坐标系的基矢量和矢量分量2
1.3张量的定义及表示5
1.4张量的代数运算7
1.5机器学习和力学中的张量表示与运算之间的关系10
参考文献15
第2章张量分解16
2.1CP分解16
2.1.1基于交替*小二乘的CP分解算法16
2.1.2非负CP分解算法19
2.1.3稀疏并行CP分解算法21
2.2高阶奇异值分解24
2.2.1HOSVD算法24
2.2.2增量SVD算法27
2.2.3增量高阶奇异值分解算法28
2.3Tucker分解30
2.3.1标准Tucker分解算法30
2.3.2稀疏Tucker分解算法32
2.4张量奇异值分解34
2.5TT分解36
2.6TR分解40
参考文献45
第3章张量子空间学习49
3.1多线性主成分分析49
3.2在线多线性主成分分析53
3.3张量线性判别分析算法58
3.4多线性非相关判别分析61
3.5基于流形学习的张量子空间学习算法64
3.5.1张量判别式局部线性嵌入算法65
3.5.2张量等距特征映射算法67
3.5.3张量邻域保留嵌入算法68
3.5.4张量局部保留投影算法69
3.5.5张量局部判别嵌入算法71
3.5.6张量拉普拉斯特征映射算法73
3.6基于图嵌入的张量子空间学习74
3.7基于回归的大规模TLPP算法78
参考文献81
第4章有监督张量学习83
4.1有监督张量学习机83
4.2基于因子分解的*小二乘支持张量机85
4.3线性支持高阶张量机87
4.4基于特征选择的线性支持高阶张量机92
4.5半监督支持高阶张量机96
4.6弹球支持高阶张量机104
4.6.1弹球支持向量机104
4.6.2弹球支持张量机106
4.6.3求解弹球支持张量机的SMO算法107
4.6.4算法时间复杂度分析110
4.6.5实验结果与分析111
4.7模糊非平行支持张量机114
4.7.1模糊非平行支持张量机模型114
4.7.2工作集选择117
4.7.3子问题求解与终止条件118
4.8非线性支持高阶张量机123
4.8.1非线性支持高阶张量机模型123
4.8.2实验数据集125
4.8.3比较的算法127
4.8.4实验设置和环境128
4.8.5实验结果与分析128
4.9联合特征抽取和机器学习的非线性支持张量机130
参考文献132
第5章带噪声和缺失数据的张量子空间学习137
5.1基于混合高斯分布的广义加权低秩张量分解算法138
5.2带稀疏噪声的张量子空间学习140
5.3基于CP/Tucker分解的张量补全算法143
5.4基于t-SVD的张量补全算法146
5.4.1基于随机采样的张量补全146
5.4.2基于随机管道采样的张量补全147
5.5基于TT分解的张量补全算法147
5.5.1TT-WOPT算法148
5.5.2TT-SGD算法148
5.5.3基于TT分解的交替*小张量补全算法149
5.5.4基于全连接张量网分解的张量补全算法151
5.6基于TR分解的张量补全算法154
5.7完全贝叶斯CP分解算法157
5.8贝叶斯鲁棒张量分解162
5.9带稀疏噪声的张量补全算法168
参考文献172
第6章张量子空间学习在图像补全和去噪中的应用177
6.1基于因子矩阵迹范数*小化的图像补全算法177
6.2基于序列截断高阶奇异值分解的图像补全算法181
6.2.1自适应序列截断高阶奇异值分解181
6.2.2基于自适应序列截断高阶奇异值分解的张量补全算法183
6.2.3基于自适应序列截断高阶奇异值分解的张量补全算法的收敛性分析184
6.2.4实验结果与分析185
6.3基于t-SVD的图像去噪算法189
6.3.1基于局部自相似特性的算法框架189
6.3.2改进的非局部张量奇异值分解算法191
6.3.3基于块对角表示的彩色图像和多谱图像去噪算法192
6.4基于非局部自相似和加权张量低秩分解的多通道图像补全算法199
6.4.1多通道加权核范数*小化算法199
6.4.2基于非局部自相似的加权张量分解算法200
6.5基于自适应稀疏低秩张量子空间学习的多通道图像补全算法214
6.6张量鲁棒主成分分析228
参考文献230
第7章张量子空间学习在数据挖掘中的应用235
7.1基于张量和矩阵混合分解的兴趣点**算法235
7.1.1混合张量和矩阵分解的位置类别**模型和算法236
7.1.2基于加权核密度估计的用户-位置偏好预测239
7.1.3实验结果与分析239
7.2基于张量分解的链路预测算法243
7.2.1时序链路预测问题描述243
7.2.2三元组转换概率矩阵244
7.2.3三元组转换概率预测244
7.2.4三元组重要性分析245
7.2.5链路预测246
7.3基于张量分解的社交网络**算法246
7.3.1基于用户主题信任**算法247
7.3.2增量SVD分解算法249
7.3.3增量张量分解算法250
7.4基于张量分解的标签**算法252
7.5基于社交锚点单元图正则化的大规模图像重标记算法255
参考文献259
索引264
“统计与数据科学丛书”已出版书目267