[发明专利]一种网页自动分类方法及装置

说明书

技术领域

本发明涉及网页分类领域，尤其涉及一种网页自动分类方法及装置。

背景技术

随着信息技术尤其是互联网相关技术的发展与成熟，互联网、企业内部网中提供的网页越来越多，一方面满足了用户对信息的需求，另一方面也产生了一些问题，如何根据网页的内容把网页自动分到不同的语义类别，以提高用户的体验，是目前搜索引擎的预处理或网站的文本自动分类管理面临解决的一个问题。

现有技术中的网页分类方法主要是采用对网页的正文进行文本分类的方式来实现，文本分类是基于文本内容将待定文本划分到一个或多个预先定义的类别中的分类方法，文本分类是依靠专家手工进行的，它对领域知识要求较高且花费巨大，不能满足网页自动分类处理的要求。

而互联网上有关信息技术型网页越来越多，这些网页分别属于不同的技术门类，例如开发语言(C++，Java)、数据库(Oracle Database，MySQL)、脚本语言(PHP，Python)等等。在特定的应用领域内，一些应用更关注于信息技术型网页所属的技术类别。现有技术对信息技术型网页的分类一般仍是基于通用网页的文本分类方法来实现，在特征抽取、分类算法等方面没有考虑到信息技术型网页的页面特征，已不适用于对信息技术型网页的分类。

因此，需要一种网页自动分类方法及装置，能够自动对信息技术型网页所涉及的信息技术类别进行判别，完成对给定网页进行可靠的自动分类处理。

发明内容

本发明的目的在于提供一种网页自动分类方法及装置，能够自动对信息技术型网页所涉及的信息技术类别进行判别，完成对给定网页进行可靠的自动分类处理。

为解决上述问题，本发明提出一种网页自动分类方法及装置，包括：

对预设的每个类别采集一定数量的训练网页形成训练网页库；

应用所述训练网页库获得分类特征词列表集合及分类特征词先验概率库；

应用所述分类特征词列表集合过滤给定网页，获得给定网页特征词列表；

应用所述分类特征词先验概率库计算所述给定网页特征词列表中的特征词的后验概率；

根据所述后验概率进行所述给定网页自动分类。

进一步的，所述训练网页库通过对预设的每个类别采集20～500个训练网页形成。

进一步的，所述训练网页为已提取出标题及正文的预处理网页。

进一步的，所述获得分类特征词列表集合的步骤包括：

统计所述训练网页库的每一个词的逆向文件频率、在训练网页的标题中出现的次数、在训练网页的正文中出现的次数以及词属值；

根据上述统计数据计算每一个词的重要度，按照所述重要度由大到小的顺序排列所有词，得到分类特征词列表集合。

进一步的，所述每一个词的重要度的计算公式为：

T_value＝(5*T_titlefreq+T_contentfreq+2*T_feature)*T_idt

其中，T_value为某词的重要度，T_idt为所述词的逆向文件频率，T_titlefreq为所述词在训练网页的标题中出现的次数，T_contentfreq为所述词在训练网页的正文中出现的次数，T_feature为所述词的词属值。

进一步的，所述词的逆向文件频率的计算公式为：

T_idt＝ln(N*K/D)

其中，T_idt为所述词的逆向文件频率，N为类别的个数，K为每个技术类别的训练网页的个数，D为包含所述词的训练网页的个数。

进一步的，统计所述训练网页库的每一个词的词属值的时，判断所述词是否属于预定义的技术特征词词典中的词；若是，所述词的词属值为1，若否，所述词的词属值0。

进一步的，所述分类特征词先验概率库通过计算所述分类特征词列表集合中的每一个特征词在每一类别中出现的概率获得。

进一步的，所述每一个特征词在每一类别中出现的概率的计算公式为：

P_T|C＝D_C/K，其中P_T|C为所述概率，K为每个类别的所有训练网页的个数，D_C为某类别的所训练网页中包含所述特征词的训练网页的个数。

进一步的，应用分类特征词列表集合过滤给定网页，获得给定网页特征词列表的步骤包括：

对所述给定网页预处理，提取所述给定网页的标题及正文；

筛选出所述给定网页中出现的所述分类特征词列表集合中的特征词；