[发明专利]非迭代式大数据半监督学习方法、系统、存储介质及终端

说明书

本发明提供一种非迭代式大数据半监督学习方法、系统、存储介质及终端，包括以下步骤：计算数据集的距离矩阵和所述数据集中每个数据的局部密度向量，并根据所述距离矩阵和所述局部密度向量计算每个数据到引领节点的距离向量和引领节点的下标向量；基于所述距离向量和所述下标向量构建最优引领森林；确定所述最优引领森林中每棵子树的各个节点的层次编号；基于所述层次编号在各棵子树上分三个阶段执行标签传播，以获取数据的回归结果或分类结果。本发明的非迭代式大数据半监督学习方法、系统、存储介质及终端基于最优引领森林进行标签传播的半监督学习，从而保证了标签类别或数值的准确性，且极大地提高了半监督学习的效率，降低了算法的时间复杂度。

技术领域

本发明涉及大数据智能分析的技术领域，特别是涉及一种非迭代式大数据半监督学习方 法、系统、存储介质及终端。

背景技术

在大数据时代，未标记数据从各行业不断采集得到或生成出来，但是数据的标签往往需 要人工标注获得，费时费力，因而有标签的数据通常较为稀少。这就是近年来半监督学习 (Semi-Supervised Learning，SSL)一直备受关注的原因。半监督学习是模式识别和机器学习 领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大 量的未标记数据，以及同时使用标记数据，来进行模式识别工作。当使用半监督学习时，将 会要求尽量少的人员来从事工作，同时，又能够带来比较高的准确性，因此，半监督学习正 越来越受到人们的重视。在半监督学习的诸多方法中，图半监督学习方法具有表示的直观 性，并且便于通过研究矩阵运算来改善性能。

基于图的半监督学习(Graph-based Semi-Supervised Learning，GSSL)方法是半监督学习 方法的一个重要范型。现有技术中，几乎所有的基于GSSL都将以下两个基础的假设作为问 题描述的依据：(1)针对已标记样本，希望按照邻域内样本传播生成的标签与真实的标签误 差尽量小，这一项称为“聚类假设”；(2)针对全体样本，希望相邻的样本生成的标签都尽 量相似，这一项称为“流形假设”。一般通过最小化上述两项假设来实现标签传播。然而， 现有技术中的GSSL方法存在两个明显的局限性：

(1)由于通过迭代优化的方式获得预设目标函数的最优解(或次优解)，导致训练的时 间开销较大，学习效率低；

(2)由于求解过程依赖于给定的图结构，不便于构建增量式学习算法；当数据点发生新 增或删除的情况时，整个学习过程需要从头运行。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种非迭代式大数据半监督学习 方法、系统、存储介质及终端，基于最优引领森林(Optimal Leading Forest，OLeaF)进行标 签传播的半监督学习，从而保证了标签类别或数值的准确性，且极大地提高了半监督学习的 效率，降低了算法的时间复杂度。

为实现上述目的及其他相关目的，本发明提供一种非迭代式大数据半监督学习方法，包 括以下步骤：计算数据集的距离矩阵和所述数据集中每个数据的局部密度向量，并根据所述 距离矩阵和所述局部密度向量计算每个数据到引领节点的距离向量和引领节点的下标向量； 基于所述距离向量和所述下标向量构建最优引领森林；确定所述最优引领森林中每棵子树的 各个节点的层次编号；基于所述层次编号在各棵子树上分三个阶段执行标签传播，以获取数 据的回归结果或分类结果。

于本发明一实施例中，还包括对数据集中的数据进行预处理，并针对预处理后的数据计 算所述距离矩阵和所述局部密度向量。

于本发明一实施例中，所述预处理包括数据的合并、补齐中的一种或组合。

于本发明一实施例中，计算数据集的距离矩阵和局部密度向量，并根据所述距离矩阵和 所述局部密度向量计算每个数据到引领节点的距离向量和引领节点的下标向量包括以下步 骤：

将所述数据集拆分成一定数量个大小均衡的子集；