[发明专利]一种网页自动分类方法及装置

权利要求书

1.一种网页自动分类方法，其特征在于，包括：

对预设的每个类别采集一定数量的训练网页形成训练网页库；

应用所述训练网页库获得分类特征词列表集合及分类特征词先验概率库；

应用所述分类特征词列表集合过滤给定网页，获得给定网页特征词列表；

应用所述分类特征词先验概率库计算所述给定网页特征词列表中的特征词的后验概率；

根据所述后验概率进行所述给定网页自动分类。

2.如权利要求1所述的网页自动分类方法，其特征在于，对预设的每个类别采集20～500个训练网页形成训练网页库。

3.如权利要求2所述的网页自动分类方法，其特征在于，所述训练网页为已提取出标题及正文的预处理网页。

4.如权利要求1所述的网页自动分类方法，其特征在于，所述获得分类特征词列表集合的步骤包括：

统计所述训练网页库的每一个词的逆向文件频率、在训练网页的标题中出现的次数、在训练网页的正文中出现的次数以及词属值；

根据上述统计数据计算每一个词的重要度，按照所述重要度由大到小的顺序排列所有词，得到分类特征词列表集合。

5.如权利要求4所述的网页自动分类方法，其特征在于，所述每一个词的重要度的计算公式为：

T_value＝(5*T_titlefreq+T_contentfreq+2*T_feature)*T_idt

其中，T_value为某词的重要度，T_idt为所述词的逆向文件频率，T_titlefreq为所述词在训练网页的标题中出现的次数，T_contentfreq为所述词在训练网页的正文中出现的次数，T_feature为所述词的词属值。

6.如权利要求5所述的网页自动分类方法，其特征在于，所述词的逆向文件频率的计算公式为：

T_idt＝ln(N*K/D)

其中，T_idt为所述词的逆向文件频率，N为类别的个数，K为每个技术类别的训练网页的个数，D为包含所述词的训练网页的个数。

7.如权利要求5所述的网页自动分类方法，其特征在于，统计所述训练网页库的每一个词的词属值时，判断所述词是否属于预定义的技术特征词词典中的词；若是，所述词的词属值为1，若否，所述词的词属值0。

8.如权利要求1所述的网页自动分类方法，其特征在于，所述分类特征词先验概率库通过计算所述分类特征词列表集合中的每一个特征词在每一类别中出现的概率获得。

9.如权利要求8所述的网页自动分类方法，其特征在于，所述每一个特征词在每一类别中出现的概率的计算公式为：

P_T|C＝D_C/K，其中P_T|C为所述概率，K为每个类别的所有训练网页的个数，D_C为某类别的所训练网页中包含所述特征词的训练网页的个数。

10.如权利要求1所述的网页自动分类方法，其特征在于，应用分类特征词列表集合过滤给定网页，获得给定网页特征词列表的步骤包括：

对所述给定网页预处理，提取所述给定网页的标题及正文；

筛选出所述给定网页中出现的所述分类特征词列表集合中的特征词；

统计每一个所述特征词在所述给定网页的标题中出现的次数、在所述给定网页的正文中出现的次数，计算所述特征词的重要度，按照所述重要度由大到小的顺序排列所有的所述特征词，得到给定网页特征词列表集合。

11.如权利要求10所述的网页自动分类方法，其特征在于，所述特征词的重要度的计算公式为：

T_testvalue＝5*T_testtitlefreq+T_testcontentfreq

其中，T_testvalue为所述特征词的重要度，T_testtitlefreq为所述特征词在所述给定网页的标题中出现的次数，T_testcontentfreq为所述特征词在所述给定网页的正文中出现的次数。

12.如权利要求1所述的网页自动分类方法，其特征在于，所述给定网页特征词列表中的特征词的后验概率计算公式为：

P_C|T＝P_T|C*1/N*M

其中，P_T|C为所述特征词在每一类别中出现的概率，N为类别的个数，M为所述分类特征词列表集合中的特征词个数。