[发明专利]一种基于样本选择的域自适应降维方法

说明书

本发明涉及机器学习中域自适应相关问题，提出了一种基于样本选择的域自适应降维算法。为了减少源域和目标域之间的数据分布差异，学习一个降维矩阵，把源域和目标域数据投影到一个低维子空间中。首先在源域和目标域样本中寻找一个子集，该子集中的样本是对衡量域间数据分布差异比较重要的样本，把这些样本叫做地标样本，利用地标样本匹配域间差异。在对投影矩阵进行优化时，本发明把投影矩阵看做是格雷斯曼流形上的点，把在欧式空间中的约束优化问题转化为格雷斯曼流形上的无约束优化问题，利用格雷斯曼流形上的共轭梯度法求解投影矩阵。交替优化投影矩阵和地标样本直至达到最大迭代次数，使域间差异达到最小。

技术领域

本发明涉及面向机器学习领域的域自适应技术，具体是一种基于样本选择的域自适应降维学习方法。

背景技术

在解决标准的机器学习和模式识别的任务时，需要大量的已标记样本进行建模。但是，采集有标签的数据样本在很多情况下需要耗费大量的人力物力。域自适应学习，可以将数据跨域关联起来：在域自适应学习中存在源域和目标域，利用来自源域的标记样本学习目标域中未标记的样本。换句话说，域自适应学习在域间传递知识，使得在目标域中也能解决学习任务。另外，传统的降维方法都有一个共同的前提假设——所有的样本来自于同一特征空间或具有相同的分布。域自适应学习解决了数据样本具有不同分布的问题：源域和目标域具有不同却相关的分布。域自适应学习的目的就是缩小源域与目标域之间的差异。从目标域数据是否含有标签来看，域自适应学习分为两种，一种为无监督的域自适应学习，即目标域数据无标签。一种为半监督的域自适应学习，即有部分的目标域数据有标签。本发明针对无监督的域自适应学习方法。

域自适应的研究现状中，可以分为两大方法：样本层面的方法和特征层面的方法。样本层面的方法分为两类：基于样本标记的方法和基于变权的方法。基于样本标记的方法首先选择训练样本中的一些点作为地标样本，再利用这些地标样本进行学习任务。地标样本选择的重要性在于，一些跨域关键样本彼此相近，可以减小域间分布差异，而有些样本远离另一个域，考虑该样本就会增加域间的距离，所以忽略对这些样本的考察对建立跨域信息更有好处。选择地标样本能充分利用关键样本，使域间差异降到最小。例如，Gong等人(文献1，Gong B,Grauman K,and Sha F,Connecting the dots with landmarks:Discriminatively learning domain-invariant features for unsupervised domainadaptation,in Proc.ICML,2013,pp.222–230.)首先在源域中寻找地标样本，这些样本是源域中分布最类似于目标域的标记数据样本的子集。利用这些关键样本与目标域建立连接。与基于样本标记的方法思想类似，基于变权的方法赋予关键样本较大的权重、不重要的样本较小的权重来缩小域间差异。特征层面的方法主要思想是，学习一种新的特征表示，将各个域的特征映射到一个潜在的子空间中，以最小化域间差异。TCA(文献2，Pan SJ,TsangI,Kwork J et al(2011)Domain adaptation via transfer component analysis.IEEETrans Neural Netw 22:199-210)采用数据降维的方式转移两个域之间的信息到共同的特征空间中。在该文献中，把源域和目标域的样本共同映射到再生核希尔伯特空间中，利用最大均值差异(Maximum Mean Discrepancy简称MMD)缩小域间距离。在此基础上提出的IGLDA(文献3，Jiang M,Huang W,Huang Z et al(2017)Integration of global and localmetrics foe domain adaptation learning via dimensionality reduction.IEEETrans Cybern 47(1):142-152)算法，把源域和目标域的数据映射到同一个子空间。在这个子空间中，不仅利用MMD降低了源域和目标域间的概率分布差异，同时保持源域数据的局部信息，利用这两个性质学习转移成分。

发明内容