[发明专利]一种基于标记协方差和多标记分类的联合学习方法

说明书

技术领域

本发明涉及机器学习和模式识别领域，特别涉及一种基于标记协方差和多标记分类的联合学习方法。

背景技术

在实际应用中，用一个标记难以确切地描述一些复杂的对象，学习对象可能与多个标记有关，如：在生物信息学中，一段基因序列可能同时具有“新陈代谢”、“转录”和“蛋白质合成”等多种功能；在音乐分类中，一段音乐可能同时包含“孤独的”和“悲伤的”等情感；在图像分类中，一幅关于校园的图像可能同时与“草地”、“操场”、“建筑物”、“蓝天”和“白云”等多个语义概念标记有关。可见，同时具有多个标记的对象无处不在，而传统的监督学习方法难以很好地处理同时包含多个语义概念的对象，致使多标记学习成为机器学习、模式识别等领域中一个重要的研究热点。

如何有效利用标记之间的相关性是多标记学习的一个核心研究内容。标记相关性通常可以通过事先给定和学习获得。然而，事先获得的标记之间的相关性(或层次关系)不一定是很准确。因此，有些学者提出通过学习来自动发现和利用标记之间的相关性，其中，采用标记协方差矩阵来量化标记之间的相关性并可以通过学习来求出标记协方差矩阵是学习获得标记相关性的重要方法之一。此外，在多标记学习中，如何划分样本的相关标记集和不相关标记集也是一个重要的研究问题，即如何确定阈值函数。一种最简单最直接的方法是设置阈值函数为常量(如0)。也有些学者提出通过学习求得阈值函数，其中，包括引入了一个虚拟标记(a virtual label)或一个零标记(a zero label)，作为相关标记和不相关标记的自然划分点。而通过同时学习分类模型参数、标记相关性以及阈值函数所对应的参数，可有效改进多标记数据的分类精度。

发明内容

本发明所要解决的技术问题是针对现有技术中的问题，提出了基于标记协方差和多标记分类的联合学习方法，以此来有效地提高多标记数据的分类精度。

本发明为解决上述技术问题采用以下技术方案：

基于标记协方差和多标记分类的联合学习方法，包括如下步骤：

步骤1)，标记相关性矩阵初始化为单位矩阵，即假设初始化时同一标记之间是相关的，而不同标记之间不相关；

步骤2)，运用标记协方差和多标记分类的联合学习算法JLSML学习得到分类模型参数、标记相关性以及阈值函数所对应的参数：交替迭代更新标记相关性矩阵、分类器参数和阈值函数所对应的参数，直到满足迭代终止条件输出学习得到的分类模型参数、标记相关性以及阈值函数所对应的参数；

步骤3)，模型预测：首先运用学习得到的分类模型参数、阈值函数所对应的参数进行标记预测，得到分类结果；然后根据多标记数据的分类模型预测所有待分类的多标记数据的标记；最后输出多标记数据的分类结果。

作为本发明一种基于标记协方差和多标记分类的联合学习方法进一步的优化方法，步骤 1)具体包括如下步骤：

步骤1.1)，标记相关性矩阵S＝I_Q，其中，I_Q为Q×Q的单位矩阵；

步骤1.2)，归一化处理，使每个特征对应的特征向量的2范数为1。

作为本发明一种基于标记协方差和多标记分类的联合学习方法进一步的优化方法，步骤 2)具体包括以下步骤：

步骤2.1)，令为预先设定的包含n个样本的训练集，其中， x_i∈R^d表示第i个训练样本，R^d为d维的实数空间，Y_i∈{+1,-1}^Q表示其相应的标记向量，d 表示特征空间的维数，Q表示标记个数；

若Y_iq＝+1，则表示第i个样本隶属于第q个标记，否则表示第i个样本不隶属于第q个标记；

步骤2.2)，令虚拟标记v作为样本的相关标记和不相关标记的自然划分点，虚拟标记v所对应的函数参数为w_v∈R^d和b_v∈R，对应的函数为其中，R为实数空间；

步骤2.3)，将多标记分类问题转化为Q个两类分类问题，第q个标记所对应的判别函数定义如下：

其中，w_q∈R^d和b_q∈R分别表示第q个线性分类函数所对应的权重和偏差；

若f_q(x)≥f_v(x)，则认为第q个标记为样本x的相关标记，否则为样本x的不相关标记；