[发明专利]伪原创网站的识别方法及装置

权利要求书

1.一种伪原创网站的识别方法，其特征在于，包括:

提取网站中包含的各个网页和所述各个网页分别对应的样式指纹；

分别计算所述各个网页分别对应的样式指纹与伪原创样式指纹之间的海明距离；

统计所述各个网页中与所述伪原创样式指纹之间的海明距离大于或等于第一预设阈值的网页数量；

若所述网页数量大于或等于第二预设阈值，则确定所述网站为伪原创网站；

所述提取网站中包含的各个网页和所述各个网页分别对应的样式指纹的步骤之前，还包括：

获取伪原创样式指纹；

所述获取伪原创样式指纹的步骤包括：

计算各个网站中包含的网页对应的样式指纹，并且建立样式指纹与网页之间的对应关系；

根据样式指纹与网页之间的对应关系，获取样式指纹对应的统一资源定位符(URL)数量，其中，每一个网页对应一个URL；

根据所述样式指纹对应的URL数量，确定与所述样式指纹对应的网站数量；

若所述样式指纹对应的网站数量大于或等于第三预设阈值时，确定所述样式指纹为伪原创样式指纹。

2.根据权利要求1所述的伪原创网站的识别方法，其特征在于，所述计算网页对应的样式指纹的步骤包括：

创建网页节点样式集合，所述网页节点样式集合中包含有网页的各个节点分别对应的字符串，所述各个节点用于标识网页各个区域的显示方式，所述字符串包括所述各个节点分别对应的节点名称、节点样式属性、和节点样式属性值；

根据所述各个节点分别对应的字符串，生成所述网页对应的样式字符串；

计算所述网页对应的样式字符串的局部敏感哈希(simhash)值，并将所述simhash值作为所述网页对应的样式指纹。

3.根据权利要求2所述的伪原创网站的识别方法，其特征在于，所述创建网页节点样式集合的步骤包括：

获取所述网页对应的超文本标记语言(html)源代码，并根据所述网页对应的html源代码，构建所述网页对应的文件对象模型(dom)树结构；

提取所述dom树结构上各个节点分别对应的节点名称、节点属性、和节点属性值；

根据所述各个节点分别对应的节点名称、节点属性、和节点属性值，生成所述各个节点分别对应的字符串，并保存在所述网页节点样式集合中。

4.根据权利要求2所述的伪原创网站的识别方法，其特征在于，根据网页的各个节点分别对应的字符串，生成所述网页对应的样式字符串的步骤包括：

生成空字符串S；

判断所述网页节点样式集合包含的字符串中是否存在相同字符串；

若不存在相同字符串，则将所述各个节点分别对应的字符串依次添加到所述空字符串S；

若存在相同字符串，则从所述相同字符串中提取任意一个字符串，并将去重后的各个字符串依次添加到所述空字符串S。

5.一种伪原创网站的识别装置，其特征在于，包括：

提取单元，用于提取网站中包含的各个网页和所述各个网页分别对应的样式指纹；

计算单元，用于分别计算所述提取单元提取的所述各个网页分别对应的样式指纹与伪原创样式指纹之间的海明距离；

统计单元，用于统计所述计算单元计算的所述各个网页中与所述伪原创样式指纹之间的海明距离大于或等于第一预设阈值的网页数量；

确定单元，用于若所述统计单元统计所述网页数量大于或等于第二预设阈值，则确定所述网站为伪原创网站；

所述装置还包括：获取单元：

所述获取单元，用于获取伪原创样式指纹；

所述获取单元包括：

第一计算模块，用于计算各个网站中包含的网页对应的样式指纹；

建立模块，用于建立样式指纹与网页之间的对应关系；

获取模块，用于根据样式指纹与网页之间的对应关系，获取样式指纹对应的统一资源定位符(URL)数量，其中，每一个网页对应一个URL；

确定模块，用于根据所述样式指纹对应的URL数量，确定与所述样式指纹对应的网站数量；

所述确定模块，还用于若所述样式指纹对应的网站数量大于或等于第三预设阈值时，确定所述样式指纹为伪原创样式指纹。