[发明专利]网页分类标准获取方法、装置及网页分类方法、装置

说明书

技术领域

本发明涉及通信领域，具体涉及一种网页分类标准获取方法、装置及网页分类方法、装置。

背景技术

对各种网页进行分类，以此来对用户访问网页的记录进行分析，从而得出用户的上网偏好，可以进一步给用户提供基于该偏好的互联网服务，优化用户体验的满意度。目前已存在许多网页分类的方法，这些方法都是从网页里面的正文提取关键词，然后对关键词建立算法模型，从而得到分类器（即网页的分类标准），并以此分类器对未知类别网页进行分类。现有的这些网页分类方法都存在以下技术问题：

现有的网页分类都是从网页正文提取关键词，由于网页正文存在着大量的噪音信息，提取出来的关键字代表性不足，会在较大程度上降低网页分类的准确性。

发明内容

本发明要解决的主要技术问题是，提供一种网页分类标准获取方法、装置及网页分类方法、装置，解决现有网页分类从网页正文提取关键词导致分类准确性低的问题。

为解决上述技术问题，本发明提供一种网页分类标准获取方法,其特征在于包括：

获取各标准分类的样本网页；

提取各样本网页的标签内容；

从提取的标签内容中确定标准特征词；

根据各标准特征词在各标签内容中出现的次数确定各标准特征词在各标准分类中出现的次数；

根据各标准特征词在各标准分类中出现的次数确定各标准特征词在各标准分类中的比重值，得到标准分类和标准特征词的标准比重列表。

在本发明的一种实施例中，所述标签包括标题标签、关键字标签、描述标签和重要文本标签中的至少一个。

在本发明的一种实施例中，从提取的标签内容中确定标准特征词包括：

对提取的标签内容进行分词处理得到标准特征词。

在本发明的一种实施例中，根据各标准特征词在各标准分类中出现的次数确定各标准特征词在各标准分类中的比重值包括：

用各标准特征词在各标准分类中出现次数组成向量空间；

利用统计算法得到各标准特征词在各标准分类中的比重值。

在本发明的一种实施例中，根据各标准特征词在各标准分类中出现的次数得到各标准特征词在各标准分类中的比重值之后，还包括：

判断是否存在某一标准特征词在各分类中的比重值相近；如存在，则将该标准特征词从所述标准比重列表中删除。

为了解决上述问题，本发明还提供了一种网页分类方法，包括：

提取待分类网页的标签内容；

根据如上得到的标准比重列表中的标准特征词从所述标签内容中提取对应的特征词；

根据各特征词在各标签内容中出现的次数确定各特征词在所述待分类网页中出现的次数；

根据所述特征词在所述待分类网页中出现的次数和所述标准比重列表确定所述待分类网页所属的标准分类。

在本发明的一种实施例中，根据所述标准比重列表中的标准特征词从所述标签内容中提取对应的特征词为：从所述标签内容中提取与所述标准特征词相同的词作为特征词；或从所述标签内容中提取与所述标准特征词相同和相近的词作为特征词，当存在与所述标准特征词相近的词时，以所述标准特征词表征。

在本发明的一种实施例中，根据各特征词在各标签内容中出现的次数确定各特征词在所述待分类网页中出现的次数包括：

将某一特征词在各标签内容中出现的次数相加，得到该特征词在该待分类网页中的次数；

或

为各标签内容设定对应的加权值；

将某一特征词在各标签内容中出现的次数与各标签内容对应的加权值相乘后再相加，得到该特征词在该待分类网页中的次数。

在本发明的一种实施例中，根据所述特征词在所述待分类网页中出现的次数和所述标准比重列表确定所述待分类网页所属的标准分类包括：

当所述待分类网页仅有一个特征词时，将该特征词在该待分类网页中出现的次数与该特征词在各标准分类中的比重值相乘得到在各标准分类中的分值；取最大分值对应的标准分类作为所述待分类网页的类型；

当所述待分类网页有至少两个特征词时，依次将各特征词在该待分类网页中出现的次数与该特征词在各标准分类中的比重值相乘得到各特征词在各标准分类中的分值，在得到的所有分值中，取最大分值对应的标准分类作为所述待分类网页的类型；或取每一个特征词的分值中最大的分值对应的标准分类作为所述待分类网页的类型。

为了解决上述问题，本发明还提供了一种网页分类标准获取装置,包括：

网页获取模块，用于获取各标准分类的样本网页；