[发明专利]网页分类方法和装置、网页分类器的训练方法和装置

说明书

技术领域

本申请涉及互联网信息处理技术领域，特别是涉及一种网页分类方法和装置、一种网页分类器的训练方法和装置。

背景技术

随着互联网技术的普及和飞速发展，网络信息成爆炸性增长，一方面满足了用户对信息的需求，另一方面，如何根据网页内容把网页自动划分到不同的类别，以提高用户的体验，是目前面临的一个问题。

衡量网页分类方法的指标具体包括召回率和准确率等。其中，召回率，是正确分出类别的网页数量和所有网页中属于该类别的网页数量的比值，用于衡量网页分类方法是否具有通用性；准确率，是正确分出类别的网页数量除以所有分出类别的网页数量的比值，用于衡量网页分类方法是否准确。

现有技术常用的网页分类方法是：提取网页的文本内容和标签信息等网页内容特征，利用文本分类器对网页内容特征进行分类。其中的文本分类器是预先训练好的分类器，其使用分类算法对文本进行分类。

虽然网页内容特征的描述较为全面，但可能包含大量背景资料，这导致现有技术出现如下问题：

对于短文本的网页，现有技术能够提取的有效文本特征（代表网页唯一主题的有效特征）维度不足，且背景资料容易产生诸如广告、推荐信息、版权声明等与网页内容无关的噪声信息，更容易导致错误分类，从而引起准确率和召回率较低的问题。

对于长文本的网页，现有技术能够提取的网页内容特征的维数过高，而对于常用的分类算法，特征维度越高，意味着计算量越大，因此，高维的特征容易增加文本分类器的处理时间，从而降低了网页分类的速率；另一方面，只有代表网页唯一主题的有效特征才能够体现出网页所属的准确类别，而高维的特征很难集中体现出一个明确的主题或类别，往往体现出多个主题或类别，这样容易引起文本分类器的多峰分布以及最终的错误分类，从而引起准确率和召回率较低的问题。

总之，需要本领域技术人员迫切解决的一个技术问题就是：如何能够提高网页分类的准确率和召回率。

发明内容

本申请所要解决的技术问题是提供一种网页分类方法和装置、一种网页分类器的训练方法和装置，能够提高网页分类的准确率和召回率。

为了解决上述问题，本申请公开了一种网页分类方法，包括：

提取待分类网页的用户搜索行为特征；

依据第一网页分类器判别该用户搜索行为特征所属的网页类别；其中，所述第一网页分类器为依据网页类别样本的用户搜索行为特征所构造的分类器。

优选的，所述提取待分类网页的用户搜索行为特征的步骤，进一步包括：

依据所述待分类网页的页面地址，在关系数据库中检索所述待分类网页对应的搜索关键词及相应的关系频率，得到相应的用户搜索行为特征；

所述关系数据库中记录有搜索关键词和搜索跳转访问页面之间的映射关系及相应的关系频率，所述关系频率为对用户搜索行为数据和用户访问行为数据进行分析得到，所述搜索跳转访问页面为来源于搜索结果页面的访问页面。

优选的，所述提取待分类网页的用户搜索行为特征的步骤，进一步包括：

依据所述待分类网页的页面地址，在用户访问行为数据中查询得到所述待分类网页对应的用户物理地址和搜索跳转信息；

所述用户访问行为数据记录有访问页面的页面地址及对应的用户物理地址和搜索跳转信息，所述搜索跳转信息用于表示当前访问页面是否来源于搜索结果页面，并且，在来源于搜索结果页面时其包括有搜索结果页面的页面地址；

依据所述待分类网页对应的用户物理地址和搜索跳转信息，在所述用户搜索行为数据中查询得到所述待分类网页对应的搜索关键词，作为用户搜索行为特征；

所述用户搜索行为数据记录有搜索关键词及对应的用户物理地址和搜索结果，其中，所述搜索结果中包括依据搜索关键词得到的多个页面地址。

优选的，通过如下步骤对所述用户搜索行为数据和用户访问行为数据进行分析得到所述关系频率：

通过查询用户访问行为数据，获取搜索跳转访问页面的页面地址及对应的用户物理地址和搜索跳转信息；

所述用户访问行为数据记录有访问页面的页面地址及对应的用户物理地址和搜索跳转信息，所述搜索跳转信息用于表示当前访问页面是否来源于搜索结果页面，并且，在来源于搜索结果页面时，其包括有搜索结果页面的页面地址；所述搜索跳转访问页面为来源于搜索结果页面的访问页面；