[发明专利]一种分类方法及装置

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种分类方法及装置。

背景技术

随着网络技术的发展，可以通过网络获取越来越多的数据，并依托这些数据进行进一步的分析，这也是大数据时代的特点之一。为了对海量数据进行进一步的处理和分析，对数据进行分类往往是必不可少的步骤。

但是，现有技术中的分类方法准确性有待提高。

发明内容

本发明解决的技术问题是提升分类方法的准确性。

为解决上述技术问题，本发明实施例提供一种分类方法，包括：

确定层级分类库，所述层级分类库包含多个不同的支线，每一支线包含一个或多个不同层级的类目；

从目标网站获取所述支线的最下层级类目包含的对象信息；

根据所述对象信息和所述对象信息所属的支线训练分类模型。

可选的，所述对象信息包括对象标题信息和对象属性信息。

可选的，所述训练分类模型包括：

对所述对象信息进行处理，以生成基础词库；

根据所述基础词库和所述多个不同的支线训练所述分类模型，以使所述分类模型能够对基础词库中词语的所属类目的概率进行分值估算。

可选的，所述基础词库通过如下步骤得到：

对所述对象信息进行分词处理，以得到对象信息词语；

在类似词库中检索所述对象信息词语，选取与所述对象信息词语的相似度大于相似度阈值的词语作为扩展信息；

对所述对象信息词语和所述扩展信息进行去重处理，以得到所述基础词库。

可选的，所述分类方法还包括：

根据所述基础词库对待分类对象信息进行分词处理，以得到待分类对象信息词语；

利用所述分类模型对所述待分类对象信息词语进行分值估算；

参照所述待分类对象信息词语的分值估算结果，确定所述待分类对象信息所属的分类。

可选的，所述分类方法还包括：

根据所述基础词库对待分类对象信息进行分词处理，以得到待分类对象信息词语；

参照类似词库生成所述待分类对象信息词语的扩展信息；

利用所述分类模型对所述待分类对象信息词语和所述扩展信息进行分值估算；

参照所述待分类对象信息词语和所述扩展信息的分值估算的结果，确定所述待分类对象信息所属的分类。

本发明实施例还提供一种分类装置，包括：层级分类库确定单元、对象信息获取单元以及模型训练单元；其中：

所述层级分类库确定单元，适于确定层级分类库，所述层级分类库包含多个不同的支线，每一支线包含多个不同层级的类目；

所述对象信息获取单元，适于从目标网站获取所述支线的最下层级类目包含的对象信息；

所述模型训练单元，适于所述对象信息和所述对象信息所属的支线训练分类模型。

可选的，所述对象信息包括对象标题信息和对象属性信息。

可选的，所述模型训练单元包括：基础词库生成子单元以及训练子单元；其中：

所述基础词库生成子单元，适于对所述对象信息进行分词处理，以得到基础词库；

所述训练子单元，适于根据所述基础词库和所述多个不同的支线训练所述分类模型，以使所述分类模型能够对基础词库中词语的所属类目的概率进行分值估算。

可选的，所述基础词库生成子单元包括：第二分词处理单元、第一扩展信息生成单元和第二去重处理单元，其中：

所述第二分词处理单元，适于对所述对象信息进行分词处理，以得到对象信息词语；

所述第一扩展信息生成单元，适于在类似词库中检索所述对象信息词语，选取与所述对象信息词语的相似度大于相似度阈值的词语作为扩展信息；

所述第二去重处理单元，适于对所述对象信息词语和所述扩展信息进行去重处理，以得到所述基础词库。

可选的，所述分类装置还包括：第三分词处理单元、第一分值估算单元以及第一分类确定单元；其中：

第三分词处理单元，适于根据所述基础词库对所述待分类对象信息进行分词处理，以得到待分类对象信息词语；

第一分值估算单元，适于利用所述分类模型对所述待分类对象信息词语进行分值估算；

第一分类确定单元，适于参照所述待分类对象信息词语的分值估算结果，确定所述待分类对象信息所属的分类。

可选的，所述分类装置还包括：第四分词处理单元、第二扩展信息生成单元、第二分值估算单元以及第二分类确定单元；其中：