[发明专利]一种基于广义K均值算法的文本多标记学习方法

说明书

本发明公开了一种基于广义K均值算法的文本多标记学习方法，包括以下步骤：预处理原始文本，得到训练样本集和测试样本集；根据训练样本集初始化字典D⁰并随机挑选K个样本，通过KSVD算法逐列更新字典D⁰中的样本直到满足迭代停止条件，得到欠完备字典D并将欠完备字典D中的样本作为多标记学习的标记向量；计算样本在欠完备字典D上的稀疏编码，以编码向量非零值索引位置的对应样本为样本多标记学习分类结果，以向量非零值大小为标记权重，完成标记排序。本发明充分挖掘标记之间的相关性，效果符合人类直觉认知习惯，自然感强、可解释性好，降低了计算存储开销和“维度灾难”的发生频率；同时对样本异常、缺失具有鲁棒性。

技术领域

本发明属于大数据处理技术领域，具体涉及一种基于广义K均值算法的文本多标记学习方法。

背景技术

多标记学习技术指每个对象由一个特征向量进行描述，该对象具有多个而不是唯一的类别标记。该技术属于机器学习领域，目标是将所有合适的类别标记赋予待分类的对象，可更加精准和详实地描述对象，可应用于搜索排序、推荐系统、计算视觉、情感分类、多媒体标注等领域。

主流机器学习框架中，常假设每一个样本对象具有唯一的语义，只与一个类别标记相关联。然而真实世界的对象往往具有多义性，可能与多个类别标记相关联。如：一张图片可以同时标注“蓝天”、“白云”、“大海”、“树木”等语义标记，一段文本可以同时标注“明星”、“时政”、“正能量”等标签。对象的多属性特性，更加符合人类对真实世界的构建和感知。

由于多标记学习的“一般性”，导致输出空间类别的标记几何数随着标记空间的增大而成指数规模增长。因此，如何充分利用标记之间的相关性是构造具有强泛化能力的多标记学习系统的关键。基于考察标记之间相关性的不同，多标记学习问题包含“一阶”、“二阶”、“高阶”三种策略，即：考察单个标记而忽略标记间相关性、考察两两标记之间的相关性和考察高阶的标记相关性。并根据数据和算法切入点的不同，现有多标记学习方法可以分为两大类：

1)问题转换型：通过对多标记训练样本进行处理，将问题转换为其他已有的学习问题。代表方法包括一阶方法：将多标记学习问题转换为二分类问题求解；二阶方法：将问题转换为“标记排序”问题求解；高阶方法：将问题转换为“多类分类”问题求解。该类方法的核心是“改造数据适应算法”。

2)算法适应型：通过对常用监督学习算法进行改进，将其直接用于多标记数据的学习。代表方法包括一阶方法：将“惰性学习”kNN算法进行改造；二阶方法：将“核学习”算法SVM进行改造；高阶方法：将“贝叶斯学习”Bayes算法进行改造。该类方法的核心是“改造算法适应数据”。

无论问题转换型或是算法适应型，两类方法目前均存在着忽略标记之间可能蕴含的一阶、二阶、高阶相关性而导致系统泛化性能降低，或者全盘考虑任一标记对其他所有标记的影响而导致模型复杂度极高、容易引起“维度灾难”等问题。

发明内容

本发明的目的在于：解决上述现有技术中的不足，提供一种基于广义K均值算法的文本多标记学习方法使用KSVD算法训练得到欠完备字典作为模型，对待分类的多标记对象找到对应的一组类别标记。具体为：以欠完备字典原子作为聚类中心，样本在模型上的稀疏编码的非零值索引对应的字典原子作为多标记分类结果。

为了实现上述目的，本发明采用的技术方案为：

一种基于广义K均值算法的文本多标记学习方法，包括以下步骤：

步骤一：预处理原始文本，得到训练样本集和测试样本集；

步骤二：根据训练样本集初始化字典D⁰并随机挑选K个样本，通过KSVD算法逐列更新字典D⁰中的样本直到满足迭代停止条件，得到欠完备字典D并将欠完备字典D中的样本作为多标记学习的标记向量；