王雪松，女，1974年12月生，安徽省泗县人，博士，中国矿业大学信息与电气工程学院教授，博士生导师，教育部新世纪优秀人才，江苏省333高层次人才，孙越崎青年科技奖获得者。
　　1992年9月至1996年7月，在安徽理工大学电气工程系学习，获得工学学士学位。1996年9月至1999年7月，在中国矿业大学读控制理论与控制工程专业硕士研究生，获得工学硕士学位。1999年9月至2002年7月，在中国矿业大学读控制理论与控制工程专业博士研究生，获得工学博士学位。
　　2002年7月至2004年7月，在北京理工大学控制科学与工程博士后流动站做博士后。
　　研究方向为机器学习及模式识别。现为《电子学报》编委、中国机械工业教育协会自动化学科教学委员会委员等。近年来，主持国家自然科学基金项目3项；获教育部自然科学奖二等奖1项；在科学出版社出版专著4部；发表被SCI、EI收录论文100余篇。
　　
　　潘杰，男，1986年12月生，江苏省徐州人，博士，中国矿业大学信息与电气工程学院讲师。
　　2005年9月至2009年7月，在中国矿业大学信息与电气工程学院学习，获得工学学士学位。2009年9月至2011年7月，在中国矿业大学读控制理论与控制工程专业硕士研究生，获得工学硕士学位。2011年9月至2014年7月，在中国矿业大学读控制理论与控制工程专业博士研究生，获得工学博士学位。
　　研究方向为知识迁移及计算机视觉。近年来，主持江苏省自然科学基金1项；发表被SCI、EI收录论文近10篇。
　　
　　程玉虎，男，1973年8月生，安徽省淮南市人，博士，中国矿业大学信息与电气工程学院教授，博士生导师，教育部新世纪优秀人才。
　　1992年9月至1996年7月，在安徽理工大学电气工程系学习，获得工学学士学位。1999年9月至2002年7月，在中国矿业大学读控制理论与控制工程专业硕士研究生，获得工学硕士学位。2002年9月至2005年7月，在中国科学院自动化研究所读控制理论与控制工程专业博士研究生，获得工学博士学位。
　　研究方向为模式识别与智能系统。近年来，主持国家自然科学基金项目2项，省部级项目5项；研究成果获省部级科技奖励5项；发表被SCI、EI收录论文近100篇。

知识迁移的目标是使机器具有和人一样的“举一反三”的能力，通过已掌握的知识来完成新的任务。知识迁移是机器突破程式化约束，具有自主学习能力的关键因素，近年来已成为人工智能的研究热点之一。从“如何迁移”“迁移什么”与“何时迁移”等角度入手，系统阐述了关联知识的表达形式、迁移的方式与手段以及实现迁移的时机等问题。然而知识迁移方法在提升机器智能性的同时，常常遇到“负迁移”的难题，即迁移后效果反而变差，为此，《知识迁移学习方法及应用》从两方面着手：对迁移任务间相似度的衡量给出一定的标准，筛除相关性差的源任务；避免样本的直接迁移，提取关联任务间的公共特征，即在特征空间实现迁移。为将知识迁移理论推广到实际领域，《知识迁移学习方法及应用》围绕文本分类、人脸识别、色彩调和、目标决策与优化规划等一系列任务展开论述，将知识迁移方法分为分类迁移、决策迁移、色彩迁移与优化迁移等4部分进行分析与研究。此外，各章节内容均涉及相关领域基础知识的介绍，能够为不同层次的读者与研究人员提供入门知识与参考信息。

第1章 知识迁移概述
心理学认为，知识迁移是反映人类心理认知过程的一种概念；是人类学习的一种方法；通过一种学习影响另一种学习。古代人类就注意到迁移现象，春秋时期的思想家孔子曾提出\举一反三"的说法，宋代朱熹提出\融会贯通"的思想，这些思想都是说明学习者需汇聚各方面知识，掌握不同门类甚至是不同领域知识的共通性，从而可以将在一个领域内对知识的理解转移至其他领域当中。
在日常生活和学习中，我们会发现，数学学习好的学生物理学习一般也很好；会打羽毛球的学生学习网球会很快；会下象棋的人学习国际象棋会很容易；会骑自行车的人也会很快学会骑摩托车，如图1-1所示。因此，我们发现，如果掌握了其中一个领域的知识，在学习另外一个相近领域知识的时候，已掌握的知识会对新知识的学习起到帮助作用，这就是一种知识的迁移。这种知识迁移可以大大增强人类在不同环境中学习新任务的能力。
图1-1日常生活中的迁移现象
本章将简要介绍知识迁移的提出和发展、基本概念与分类、主要表现形式及其应用等，最后给出本书的主要结构和章节安排。
1.1知识迁移的提出和发展
1.1.1知识迁移的提出
当今世界是信息的世界，计算机技术发展迅速，对于获取并存储海量信息已不再是难题，然而，如何处理这些获取的海量信息则成为了一个新的挑战。在此基础上，机器学习的概念与方法被提出并得到了长足的发展。机器学习是模拟人类思维的一种计算机学习方法，是人工智能的核心，然而传统机器学习与人类学习相比，并不具有学习新环境知识的能力，不能利用已掌握的知识帮助新任务的学习，而是需要足够的标记样本来训练出可靠的分类模型，然后将模型用于未标记样本获取其标签值。训练与测试样本必须服从同分布假设，如果分布不同或训练样本数量不足都难以获得可靠的分类模型，这极大限制了机器学习的发展及应用。如果让机器拥有人类类似的知识迁移能力，学习不同领域的知识，则能够在很大程度上提高机器的学习效率，丰富学习内容。
实际应用中常遇到的问题是，我们很容易获取大量未标记样本，然而，给样本赋予标记的手段往往是手工操作，这个过程将消耗大量时间与资源。另外，由于信息的增长和更新，许多得到的已标记样本与新增加的未标记样本分布存在偏差，虽然能获得足够的已标记样本，但因为与未标记样本分布不同，训练的分类模型一般不具有很好的泛化性，无法取得令人满意的预测结果。而对于与未标记样本分布不同的相似样本，常常包含部分对任务学习有帮助的信息，完全抛弃这部分样本则会造成大量资源浪费。因此，在获得少量“昂贵”已标记的同分布样本的情况下，如何利用大量已标记相似分布样本提高机器性能成为当前机器学习与模式识别研究中的热点问题。
知识迁移就是在这样的应用背景下产生的，目的是打破传统机器学习训练样本与测试样本同分布的假设，将迁移的思想附加给计算机，让计算机拥有跨领域学习的能力，将已有的知识恰当的引入到新任务的学习中，使相似领域中包含信息的有效重用成为可能，提高计算机在新领域中学习的能力。知识迁移学习与传统机器学习的关系如图1-2所示。
图1-2传统机器学习与知识迁移学习的关系
知识迁移研究更关注当训练样本信息不足的情况下，如何通过已有的相似领域知识获得具有良好预测效果以及推广能力的学习模型，这里的相似包括样本分布相似或学习任务相似。知识迁移的理论研究对于深化机器学习理论，扩大其应用领域具有重要现实意义，并且对机器学习存在的许多理论问题，如相似域间信息重用、模型参数设计、知识迁移与传统学习以及半监督学习关系等都具有重要指导意义。
1.1.2知识迁移的发展
近些年机器学习理论发展迅速，知识迁移在理论和应用中得到快速发展。目前，知识迁移研究成果已广泛应用于网页检索和文本分类、数字图像处理、图像识别、自然语言处理、邮件分类、计算机辅助设计以及无线网络定位等领域中。
实际上，知识迁移最早是用来研究人类心理活动的一种方法。心理学认为，人类学习认知事物并将其\举一反三"的过程就是一种迁移行为。20世纪90年代，知识迁移研究被引入到机器学习理论中，概念一经提出，就在学术界引起广泛关注。最初，关于知识迁移的定义很宽泛，经历了终身学习、迁移学习、归纳迁移、多任务学习、元学习和增量(积累)学习等不同阶段。2005年，美国国防部先进研究项目局给出了一个新的知识迁移定义：知识迁移是系统将在已有环境中认知和学习到的信息应用到新任务的能力。根据该定义，知识迁移旨在将已有源任务中获取的信息重用于目标任务。与多任务学习同时关注复数个学习任务不同，知识迁移更注重目标任务性能的提升。
知识迁移自提出以来，涉及研究内容非常广泛。例如，对各种传统机器学习算法进行修改和扩展，以融入源领域样本信息的研究，或者利用源领域中获取的知识在目标领域重构学习器等。知识迁移的实际应用内容也非常丰富，概括来说有：基于语义的文本迁移和情感分类、基于颜色空间转换的色彩迁移以及利用概率统计理论的关联任务样本迁移等。第一种应用多以文本迁移为主，Yu等考虑语句中的多元关键字，将语义分割，构建不同分类器并迁移至新语句中实现文本数据挖掘功能[1]；Blitzer等改进结构对应学习算法并提出一种确定域与域之间的相关性的度量方法，解决了情感语义标注问题，实现自动情感分类[2]；刘成等构造衡量任务相似性的相关性矩阵，提出通过目标任务与辅助任务联合决策的方式提高目标任务的分类精度，显著改善图像分类的准确率[3]。第二种应用则是将色彩分布作为一种可利用的知识进行迁移，代表是Reinhard算法，其在图像颜色空间转换的基础上，对空间像素值进行线性变换，成功将颜色图像的颜色基调转移至形状图像，实现图像之间颜色的迁移[4]。第三种应用则是基于模型与样本权重的样本迁移，Yang等考虑用户动态和环境因素，利用隐马尔可夫模型捕捉到的时间和拓扑结构问题域，根据当前接收的RSS信号预测用户位置来解决用户无线定位问题[5]；王雪松等通过贝叶斯理论分析源任务与目标任务的相似性，按照迁移价值对源任务排序，筛选有用样本，指导Agent在路径规划问题中快速合理做出决策[6]；Dai等利用Boosting机制，对目标领域样本和源领域样本分别赋予不同的权重，改变不同样本在训练中的重要性，将源领域样本添加至训练集共同训练，很好地实现了Web网页的自动分类[7]；杜俊卫使用聚类的方法选择与目标领域相似的源领域文本，并将这些文本应用到目标领域的学习中，增加训练样本的个数，大大提高了垃圾邮件过滤技术的性能[8]。
如今，知识迁移的研究内容已频繁出现在一些国际顶级期刊、学术会议中，如IJCAI[9]、AAAI[10]、ICML[11]、ICAPS[12]、CVPR[13]、NIPS[14]、ICCV[15]、KDD[16]、Machine Learning[17]与Journal of Machine Learning Research[18]等。由于知识迁移可以降低人工标注代价并在提高学习性能方面具有极大优势，因此越来越受到国内外学者青睐。知识迁移在理论研究方面与实际应用中均获得巨大成果，而且在机器学习中的研究地位逐渐升高。
1.2知识迁移的概念
本节介绍知识迁移的一些基本概念以及与传统机器学习之间的关系。
1.2.1知识迁移的基本概念
1.领域
领域D通常包含两部分：特征空间.和边缘概率分布P(X)，即，其中。例如，在Web网页分类问题中，.即为网页特征空间，X为网页集合，xn表示第n个网页，P(X)则是网页的类属。一般来说，如果两个领域特征空间.不同或者边缘概率分布P(X)不同，则认为它们是不同的。在知识迁移中，领域通常分为源领域与目标领域。
2.任务
对于给定的一个领域，对应的任务T包含两部分：标记空间Y和预测函数，即，其中是通过训练样本学习得到的，可以对新的样本x预测其标签。从概率的角度讲。例如，在网页分类中，Y可以看作所有网页的标签集合，yi为其中一种类属，f(x)即是判断样本x属于哪一类。与领域类似，如果两个任务不同，则它们可能是标记空间Y不同，或者是预测函数不同。
3.知识迁移
知识迁移就是利用从源领域DS和源任务TS中获取的相关知识提高目标任务TT在目标领域DT上的预测准确率，其中DS6=DT或TS6=TT。
从知识迁移定义可以看出，其解决的是不同领域之间学习的问题，当源领域DS与目标领域DT相同，且源任务TS与目标任务TT相同时，学习问题就变成了传统机器学习。
4.相关性
知识迁移的研究对象是分布不同但具有相关性的领域，迁移的有效性在很大程度上依赖于领域间的相似程度。领域间的相关性越大，领域分布越一致，迁移效果就越明显。反之，领域分布差异越大，相关性越弱，迁移效果就越差。因此衡量领域间的相关性尤为重要。
5.负迁移
通过相关性的知识，我们了解到源领域与目标领域间的关联程度直接影响迁移的效果。当领域间相关性很小，存在较大分布差异时，源领域中的知识可能没有提高目标任务学习的准确率，反而降低了学习器的性能，此时就产生了负迁移现象。
例如，我们学会骑自行车，再学习骑三轮车，会感觉车身不受控制，掌握不了平衡。因为在骑自行车转方向时身体需要向转弯方向倾斜，而骑三轮车时不需要身体倾斜来维持平衡，相反身体会由于离心作用偏向外侧。如果仍然依靠自行车技术学习三轮车，则很难把握车身平衡，如图1-3所示。
图1-3日常生活中的负迁移现象
当前大部分知识迁移工作都围绕在如何计算源领域与目标领域的相关性并寻找对目标任务有用的信息，以及如何将这部分知识迁移至目标领域等方面，而针对避免负迁移现象这个关键问题却研究较少。
1.2.2知识迁移与机器学习的关系
知识迁移与传统机器学习之间的关系总结如表1-1所示，针对源领域与目标领域间的不同关系，将知识迁移分为三大类：归纳迁移、无监督迁移与直推迁移[19]。
表1-1传统机器学习与迁移学习之间的关系
1.归纳迁移
对于归纳迁移而言，通常认为目标任务与源任务并不相同，而源领域与目标领域的限制条件则较为宽松。一般来说，目标领域的标签数据应对目标域预测函数fT(    )的归纳总结具有指导意义。根据标签数据能否在源领域中获得，归纳迁移能够进一步分为以下两种情形：
(1)源领域具有能大量访问的标签样本。归纳迁移在该种情形下与多任务学习的设定相类似，两种学习算法的区别在于前者仅对从源任务中高效迁移知识以解决目标任务感兴趣，而后者通常会以平等的地位学习源任务与目标任务。
(2)源领域无法获得标签数据。这种情形归纳迁移学习的设定类似于自教学习。自教学习是由Raina等[20]首先提出的，其要求源领域与目标领域具有不同的标签空间，这意味着目标领域无法直接从源领域一侧获取可利用的的信息，正好与归纳迁移中源领域无法获得标签的设定类似。
2.直推迁移
直推迁移学习的假设前提要求目标任务与源任务相同，而各自所处的领域不同。在这种假设下，目标领域的标签数据是无法访问的，这使目标任务的学习变得困难，但是在源领域中，通常可以获得大量的标签数据。同样地，根据源领域与目标领域的不同关系，直推式迁移学习能够进一步分为以下情形：
(1)源领域与目标领域具有不同的特征空间，即XS6=XT；
(2)源领域与目标领域所处的特征空间相同，即XS=XT，但其相应的边界概率分布不同，有P(XS)6=P(XT)。
情形(2)下的直推式迁移学习本质上属于一种具有迁移知识能力的领域自适应问题，其在样本偏差选择，文本分类与协方差转移等方面均有相关应用。
3.无监督迁移
与归纳迁移学习的设定相类似，目标任务不同于源任务但具有相关性。其区别在于无监督迁移学习关注于解决目标领域无监督的学习任务，如聚类、降维、与密度估计。这种情形下，源领域与目标领域均无法获得标签数据。

目录
前言
第1章知识迁移概述1
1.1知识迁移的提出和发展2
1.1.1知识迁移的提出2
1.1.2知识迁移的发展3
1.2知识迁移的概念4
1.2.1知识迁移的基本概念4
1.2.2知识迁移与机器学习的关系5
1.3知识迁移的分类7
1.3.1基于实例的迁移7
1.3.2基于参数的迁移8
1.3.3基于特征的迁移9
1.3.4基于相关知识的迁移9
1.3.5基于模型的迁移10
1.4知识迁移的主要形式与应用.11
1.4.1分类迁移11
1.4.2决策迁移16
1.4.3色彩迁移20
1.4.4优化迁移27
1.5本书主要内容及安排30
1.6本章小结33
参考文献33
第2章基于局部保持投影的特征迁移40
2.1低维特征表示41
2.2基于LPP的多源特征迁移43
2.2.1系统原理图43
2.2.2迁移源筛选46
2.2.3LPP特征迁移47
2.2.4算法步骤49
2.3试验结果与分析50
2.3.1人脸特征迁移50
2.3.2不同特征迁移方法效果对比51
2.3.3单样本特征迁移精度分析53
2.4本章小结55
参考文献55
第3章加权多源TrAdaBoost算法57
3.1TrAdaBoost算法简介57
3.2加权多源TrAdaBoost算法58
3.2.1基本符号59
3.2.2TrAdaBoost算法流程59
3.3理论分析61
3.3.1源领域训练集样本损失值分析61
3.3.2目标领域训练集测试误差分析64
3.3.3时间复杂度分析65
3.4试验及其结果对比66
3.4.1双月型数据集试验66
3.4.2文本分类试验70
3.5本章小结72
参考文献72
第4章多源Tri-Training知识迁移73
4.1半监督学习简介73
4.2多源Tri-Training知识迁移74
4.2.1Tri-Training算法74
4.2.2多源Tri-Training知识迁移75
4.2.3算法结构75
4.2.4算法流程75
4.3试验结果与对比76
4.4本章小结80
参考文献81
第5章基于样本分布信息的跨领域知识迁移82
5.1领域适应学习82
5.2基于样本局部判别权重的加权迁移成分分析83
5.2.1问题描述83
5.2.2迁移成分分析84
5.2.3局部判别权重84
5.2.4加权迁移86
5.3基于样本分布信息的最大分布加权均值差异89
5.4基于MDWMD的领域适应学习91
5.4.1联合分布调整91
5.4.2投影矩阵92
5.4.3目标函数93
5.4.4算法步骤93
5.5试验结果与对比94
5.5.1试验数据集94
5.5.2试验结果及分析95
5.6本章小结98
参考文献99
第6章基于相似度衡量的决策树迁移100
6.1研究动机100
6.2决策迁移数学描述101
6.2.1领域与任务101
6.2.2决策迁移102
6.3多源决策树相似度衡量与误差分析103
6.4算法流程与仿真研究107
6.4.1算法流程107
6.4.2精度与复杂度分析107
6.4.3ROC特性分析109
6.4.4文本分类研究111
6.5本章小结112
参考文献113
第7章基于极限学习机的多源强化知识迁移114
7.1强化迁移机制114
7.2基于ELM的Q学习115
7.3基于ELM的多源迁移Q学习117
7.3.1系统原理图117
7.3.2任务空间与样本空间迁移119
7.4算法步骤与仿真分析121
7.4.1算法步骤121
7.4.2仿真分析121
7.5本章小结126
参考文献127
第8章基于主动轮廓探索的多源色彩迁移128
8.1色彩迁移128
8.2系统结构129
8.3基于主动轮廓探索的多源色彩迁移131
8.4试验结果与分析133
8.4.1试验设定133
8.4.2多源迁移效果影响因素分析134
8.4.3与局部迁移算法的对比137
8.5本章小结139
参考文献139
第9章基于纹理相似性的多源局部色彩迁移算法141
9.1局部色彩迁移141
9.2多源局部色彩迁移算法142
9.2.1爬山分割算法143
9.2.2灰度共生矩阵143
9.2.3多源局部色彩迁移算法145
9.2.4算法流程146
9.3试验结果与对比147
9.3.1单源局部迁移147
9.3.2多源局部迁移149
9.3.3灰度图色彩迁移151
9.4本章小结153
参考文献153
第10章基于图构建的多源参数迁移155
10.1参数迁移155
10.2ACO参数邻接迁移矩阵156
10.2.1ACO参数分析156
10.2.2邻接迁移矩阵157
10.3基于扩展模型图的多源参数迁移158
10.4目标任务的参数优化159
10.5仿真研究与分析160
10.5.1环境设定160
10.5.2迁移性能分析160
10.6本章小结164
参考文献164
第11章基于样本空间筛选的优化迁移166
11.1Ant-Q优化迁移166
11.2多源迁移Ant-Q算法167
11.3基于先验概率的样本空间筛选169
11.4TSP仿真研究171
11.4.1单源迁移TSP问题171
11.4.2多源迁移TSP问题175
11.5本章小结176
参考文献176
附录部分知识迁移学习算法MATLAB源程序178
程序1第2章基于局部保持投影的特征迁移MATLAB源程序178
程序2第6章基于相似度衡量的决策树迁移部分MATLAB源程序184
程序3第8章基于主动轮廓探索的色彩迁移部分MATLAB源程序192
索引199