[发明专利]一种网页分类方法及装置

权利要求书

1.一种网页分类方法，其特征在于，包括如下步骤：

根据网页样本集合建立特征词分类器，所述网页地址样本合集包括：多个 样本网页地址和各所述样本网页地址对应的网页类型；

获取预定数量的网页地址，通过所述特征词分类器确定每个所述网页地址 所属的所述网页类型；

对确定出网页类型的所述网页地址进行去冗余处理得到结构字符串，所述 结构字符串为网页地址结构；

存储所述网页地址结构及其对应的所述网页类型；

在对网页进行分类时，获取待分类网页的网页地址，对该网页地址进行去 冗余处理得到对应的网页地址结构，利用该网页地址结构从存储中查找出所述 待分类网页所属的网页类型。

2.如权利要求1所述的方法，其特征在于，所述根据网页样本集合建 立特征词分类器的步骤包括：

对所述多个样本网页地址对应的网页内容进行分词处理获取多个特征词；

获取每个所述特征词属于各所述网页类型的概率；

根据获取结果形成所述特征词分类器。

3.如权利要求1所述的方法，其特征在于，所述通过所述特征词分类 器确定所述网页地址所属的所述网页类型的步骤包括：

从所述网页地址对应的网页内容中提取关键词；

根据所述特征词分类器计算所述关键词属于每个所述网页类型的概率；

根据计算结果确定所述网页地址所属的所述网页类型。

4.如权利要求1-3任一项所述的方法，其特征在于，所述存储所述网 页地址结构及其对应的所述网页类型的步骤包括：

统计每种所述网页地址结构属于各个所述网页类型的次数；

根据统计结果重新确定每种所述网页地址结构所属的网页类型；

存储每种网页地址结构及其对应的网页类型。

5.如权利要求4所述的方法，其特征在于，所述根据统计结果重新确 定每种所述网页地址结构所属的网页类型的步骤包括：

根据所述网页地址属于各个所述网页类型的次数计算出该网页地址属于各 个所述网页类型的概率；

根据计算出的概率确定该网页地址结构所属的网页类型；

或者

当所述网页地址结构为子目录网页地址结构时，根据该子目录地址结构属 于各个所述网页类型的次数计算出该子目录地址结构属于各个所述网页类型的 概率；根据计算出的概率确定该子目录地址结构所属的网页类型；

当所述网页地址结构为上层目录网页地址结构并且存在其下的子目录网页 地址结构时，根据所述上层目录网页地址下的所述子目录网页地址结构所属的 所述网页类型确定所述上层目录网页地址结构所属的所述网页类型。

6.如权利要求4所述的方法，其特征在于，所述存储每种网页地址结 构及其对应的网页类型的步骤包括：

以结构树的形式存储每种网页地址结构及其对应的网页类型。

7.一种网页分类装置，其特征在于，包括：特征词分类器建立模块、 获取识别模块、网页地址处理模块、存储模块和网页分类模块；

所述特征词分类器建立模块用于根据网页样本集合建立特征词分类器，所 述网页地址样本合集包括：多个样本网页地址和各所述样本网页地址对应的网 页类型。

所述获取识别模块用于获取预定数量的网页地址，通过所述特征词分类器 确定每个所述网页地址所属的所述网页类型；

所述网页地址处理模块用于对所述获取识别模块确定出网页类型的所述网 页地址进行去冗余处理得到结构字符串，所述结构字符串为网页地址结构；

所述存储模块用于存储所述网页地址结构及其对应的所述网页类型；

所述网页分类模块用于在对网页进行分类时，获取待分类网页的网页地址， 对该网页地址进行去冗余处理得到对应的网页地址结构，利用该网页地址结构 从所述存储模块中查找出所述待分类网页所属的网页类型。