[发明专利]一种自动结构化数据的电商网站主题爬虫方法

权利要求书

1.一种自动结构化数据的电商网站主题爬虫方法，其特征在于，主要包括以下步骤：

首先，传入入口地址以触发工作系统，即传入分类页以进行引擎启动，所述工作系统中设有模块分析系统；

第二，引擎启动之后，模块分析系统进入工作状态，抓取工作也同期开启，以等待主线程的任务；

第三，模块分析系统对网站的新旧进行判断，如果是旧网站则直接进入到分析器实例中以使用先前分析产生的规则进行分析解析；如果是新网站则交由模块分析系统内的结构分析器，结构分析器根据预设的匹配模板，逐步分析出列表数据、目标字段的位置信息，并将产生的XPath存储在分析器实例中；

第四，进行爬虫的运作流程，根据层级提交给分析器解析出所需字段，进而完成结构化；

所述抓取工作的对象分为静态页面和动态页面，动态页面的抓取方式应用静态抓取和前端渲染支持库相比较的方法来标记层级页面类型，比较过程的方法为一种基于网页正文结构和特征串的相似网页去重算法，比较方法主要包括以下步骤：

首先，进行网页正文的抽取，过滤掉网页中的噪声；

第二，利用网页正文生成树算法得到一棵结构树；

第三，用Bloom Filter算法计算每一层次特征串的指纹；

第四，网页相似度的判断，当相似度达到预定的阈值，就认为静态抓取和前端渲染得到的页面数据是等价的，此时断定该层级页面是静态的，否则认为是存在异步获取过程的动态页面；

所述相似度计算公式为：计算得到的相似度如果大于预设的α，认为相似；带权树Ta、Tb，N代表两棵树的节点数，a1-an和b1-bn代表节点权值。

2.根据权利要求1所述的一种自动结构化数据的电商网站主题爬虫方法，其特征在于，所述静态页面的抓取方式为：浏览器直接解析请求url后响应的html。