[发明专利]半监督式的海量数据层次分类方法

权利要求书

1.一种海量数据的半监督的分类方法，其特征在于混合使用监督和无监督的机器学习方法来减少对人工标注的依赖，使用随机梯度下降方法来训练海量数据的正则线性分类器，其训练过程包括如下步骤：

A、对网页库中的网页进行特征提取；

B、在已有的层次分类本体库上，利用规则集和扩展规则来自动产生叶节点的训练集；

C、对已有的各个叶节点的网页进行聚类，在聚类的基础上对未标注集进行分类，并把未标注集中与训练集相似的例子加入相应叶节点的训练集，从而扩大了训练集的规模；

D、使用随机梯度下降的方法来对各个节点的正则线性分类器进行训练；

E、如果分类器的结果满足停止条件，则停止，否则进行至步骤F；

F、用通过步骤C，D建立的层次分类器来对未标注进行分类；并且把具有高信心度分类的网页加入训练集；

2.根据权利要求1所述的海量数据的半监督的分类方法，其特征在于步骤B中使用叶节点名称的同义词或者近义词生成规则集，利用规则集把网页分类到各个叶节点。

3.根据权利要求1所述的海量数据的半监督的分类方法，其特征在于步骤C中对叶节点内的网页聚类产生虚拟的子叶节点，并使用虚拟子叶节点来构造中心分类器，对未标注集的网页分类，从而扩大训练集。

4.根据权利要求1所述的海量数据的半监督的分类方法，其特征在于步骤D中使用随机梯度下降的方法来对每个节点的正则线性分类器进行训练，从而将训练的计算复杂度下降到线性。

5.根据权利要求1所述的海量数据的半监督的分类方法，其特征在于步骤F中把具有很高信心的分类结果加入训练集，从而帮助扩展训练集，提高分类器的准确率。