[发明专利]网页类型识别方法以及网页类型识别装置

摘要

本发明涉及网页类型识别方法以及网页类型识别装置，其中网页类型识别方法包括步骤：接收待测网页的网页地址，并对网页地址进行解析以得到网页地址的组成部分；判断待测网页地址的组成部分是否与网页分类规则相匹配；以及若判断结果为相匹配，则根据网页分类规则将待测网页分类以得到待测网页的网页类型，否则将待测网页的网页地址发送至网页分类器中进行分类以得到待测网页的网页类型。本发明仅利用网页地址的情况下即可预测出网页类别，预测速度快、实时性高。

主权项

1.一种网页类型识别方法，其特征在于，该网页类型识别方法包括步骤：读取预先存储的所有网页地址及网页类型，并对所有网页地址进行解析以得到网页地址组成部分的集合；按照预设的聚合方法将网页地址组成部分类同的网页地址聚合至一个组从而形成多个组；判断每个组中网页的覆盖度和网页类型的准确率是否满足要求：若一个组中网页的数量小于等于第一阈值且熵小于第二阈值，则表示该组中网页的覆盖度和网页类型的准确率满足要求，反之，若一个组中网页的数量大于第一阈值且熵不小于第二阈值，则表示该组中网页的覆盖度和网页类型的准确率不满足要求，熵E＝sum(pi*log(pi))，i＝1,2…,n，n为该组中网页的数量，pi为该组中相同类型的网页出现的概率；若判断结果为满足要求，则停止聚合以形成网页分类规则并将该网页分类规则存储至网页分类规则库中；接收待测网页的网页地址，并对该网页地址进行解析以得到该网页地址的组成部分；判断该待测网页地址的组成部分是否与网页分类规则相匹配；以及若判断结果为相匹配，则根据该网页分类规则将该待测网页分类以得到该待测网页的网页类型，否则将该待测网页的网页地址发送至网页分类器中进行分类以得到该待测网页的网页类型。