[发明专利]用于对网页数据进行分类的分类模型的训练方法及装置

说明书

本发明公开了一种对网页数据进行分类的分类模型的训练方法及装置，包括：从网页中对应不同路径的网页数据中获取训练样本数据，所述训练样本数据包括网页数据的网页内容和路径信息；获取关于所述训练样本数据的真实分类结果的分类标签；至少基于网页内容和路径信息来生成所述训练样本数据的特征；基于由所述训练样本数据的特征以及训练样本数据的分类标签组成的训练样本，通过预设机器学习算法，训练用于对网页数据进行分类的分类模型。本发明用于在网页数据进行分类时的分类模型的训练过程。

技术领域

本发明涉及网络技术领域，尤其涉及一种用于对网页数据进行分类的分类模型的训练方法及装置。

背景技术

随着大数据时代的到来，网络中的数据量已大大增加。为了进行数据的分析和研究，对网页中数据进行分类已变得越发重要。一般情况下，在获取数据时需要确定需获取数据的位置，例如，确定网页中每一条数据的路径信息作为获取网页数据的依据。例如，基于机器学习的兴起，结合机器学习的网页数据挖掘方法也逐步广泛。在基于机器学习的网页数据挖掘过程中，一般需要对样本数据的位置进行标注从而训练对应的模型，其中该标注方式是通过对该样本数据的位置添加用以表征其位置的数组进行的。例如，样本数据A的标注方式是为其添加[1,2,6,3,1,2,1,3,2,2,1]数组。其中，数组中第一位的1表示为整个页面代码中最外面的第一层标签，即为html；第二位的2表示在上一层的html标签下的第二个标签body；第三位的6表示在上一层body标签下的第6个标签，即为div，以此类推。

然而，在实际应用中，这种基于位置数组为数据进行标注的方式，会导致分类模型训练的过程中存在较大难度，譬如当网页的数据内容较多、数据的位置层级较多、位置结构较为复杂时，其位置数组内的内容也大幅度增加，从而导致维度扩展极大，这样就导致模型的训练过程中增加了机器学习的难度，整体上增加了网页数据分类过程中的难度。另外，基于其训练过程中仅包含位置特征，这就使所训练的模型在网页结构变化较大时，模型判断的准确性降低，从而使得基于该模型的网页数据的分类结果的准确性也随之降低。由此，如何实现一种能够简化训练过程并提高模型的准确性的网页数据分类方法，已成为领域中亟待解决的问题。

发明内容

鉴于上述问题，本发明提出了一种用于对网页数据进行分类的分类模型的训练方法及装置，主要目的在于在对网页数据分类时简化分类模型的训练过程的同时提高模型的准确性。

为达到上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供用于对网页数据进行分类的分类模型的训练方法，具体包括：

从网页中对应不同路径的网页数据中获取训练样本数据，所述训练样本数据包括网页数据的网页内容和路径信息；

获取关于所述训练样本数据的真实分类结果的分类标签；

至少基于网页内容和路径信息来生成所述训练样本数据的特征；以及

基于由所述训练样本数据的特征以及训练样本数据的分类标签组成的训练样本，通过预设机器学习算法，训练用于对网页数据进行分类的分类模型。

可选的，所述至少基于网页内容和路径信息来生成所述训练样本数据的特征，包括：基于网页内容生成训练样本数据的内容特征，并基于路径信息生成训练样本的结构特征。

可选的，所述至少基于网页内容和路径信息来生成所述训练样本数据的特征，还包括：

基于所述训练样本数据的路径信息与预设标准路径之间的差异来生成训练样本的路径相似度特征，所述预设标准路径对应所述网页数据所属网站中特定网页数据的路径；

可选的，所述从网页中对应不同路径的网页数据中获取训练样本数据包括：

在各个网页中，分别通过遍历全部路径的网页数据来分别获取对应网页数据的网页内容和路径信息，作为所述训练样本数据。