[发明专利]一种基于视觉分块的网页LOGO提取系统及方法

说明书

本发明是一种基于视觉分块的网页LOGO提取系统及方法，属于计算机网络领域，尤其涉及网页LOGO提取及视觉识别分析技术，目的是为解决网页视觉识别分析不稳定，准确率不高，实际应用效果不好等问题；本发明包括页面数据提取模块、分隔符探测模块和页面布局重构模块各模块之间呈递进逻辑连接，通过页面数据提取模块用于所需特征量的提取；分隔符探测模块负责分隔符的添加以及规则化分割；页面布局重构模块用于将页面内容重新布局重构，使得网页视觉识别率得到提高，该方法提取更为健壮的视觉特征，有更好的鲁棒性，同时具有更高的准确度。

技术领域

本发明是一种基于视觉分块的网页LOGO提取系统及方法，尤其涉及网页LOGO提取及视觉识别分析技术，属于计算机网络领域。

背景技术

《中国互联网络发展状况统计报告》指出依然有44.4％网民遭受过网络安全的威胁,其中钓鱼网站占比最重。国家已经设置了国家防火墙对此进行了管控，通过设置黑名单的方式根据IP,域名进行过滤，但是攻击者根据现有的防御方式不断发掘新的攻击技术。有一部分网站不断的更换域名和主机地址，导致这些网页的识别难度变大。在这样的情况下只通过黑名单就无能为力，所以需要对网页内容的特征提取。

目前基于网页内容的特征提取主要分为3大类，有基于机器学习的启发式特征提取方法，有基于网页源代码的提取方法，有基于网页DOM树结构的提取方法，还有基于视觉特征的提取方法。

基于网页源代码的特征提取的效率高，但是未充分利用网页中的其他信息。基于网页DOM树结构的特征提取方法同时考虑了文本密度和网页的DOM树结构信息，准确率得到的提高，但与基于网页源码的特征提取存在相同的问题，所以提取出更加有代表性的网页视觉特征，对网页识别有这举足轻重的影响。

网页特征提取方法主要分为三类：基于网页文本的特征提取，基于网页结构的特征提取和基于网页视觉信息的特征提取：

(1)基于网页文本的特征提取：

针对于网页中的文本信息，对于普通文本的文档特征提取出现的比较早，Heintze等人从文档中提取长度为30至45的字符串作为文档特征Shivakumar等人通过对分段文本的签名进行比较来识别目标文档。除了Heintze和Shivakumar的匹配算法外，还有YAP3算法、MDR算法等，这些算法没有考虑到网页文本内容或者普通文档的整体结构，只是使用了字符串比较的方法。在文档查重中还有基于词频统计的方法，如Shivakumar等人提出的SCAM方法，后来该方法被改进后被应用于Google的系统。但是由于网页内容比较少，包含的词汇量也很少，这导致生成的文本特征向量十分的稀疏，会导致分类的准确率下降，并且传统的方法并没有考虑到网页的语义特征和结构特征。

(2)基于网页的结构特征提取：

Si等人在1997年提出了Check方法，它引入了文档的结构信息，即文档按章、节、段落等生成一颗文档树，然后对文档树进行深度优先比较来计算相似度Sahuguet等人提出的W4F算法是将网页构建成DOM树，基于人工标记好的网页，抽取出网页主要内容对应的规则。Liu等人设计的XWrap也是先将网页构建成DOM树，然后根据目标节点的XPath表达式来进行内容的提取，这个技术的不足之处是该技术对网页结构的变化敏感，所以要经常对结构发生变化的网页更新XPath表达式。

(3)基于网页视觉特征提取：