[发明专利]一种网页内容自动采集方法

摘要

本发明公开了一种网页内容自动采集方法，包括：根据需要进行内容采集的网页URL查找与该网页所在网站相匹配的采集器集合；当存在相匹配的采集器时，执行采集器，获取网页内容；当不存在相匹配的采集器时，查找未匹配采集器集合，从未匹配采集器集合中选择采集器并执行采集器，获取网页内容；采集成功后，输出网页内容的采集结果；当采集不成功时，重新选择采集器。本发明中的网页自动采集系统框架，支持扩展其它多个网页采集器，极大的提高了系统的可维护性，降低了维护成本与风险，优化了采集系统结构，简化采集处理流程，为大规模采集系统提供了新的高效解决方案。

主权项

1.一种网页内容自动采集方法，其特征在于，具体步骤包括：步骤一、根据需要进行内容采集的网页URL查找与该网页所在网站相匹配的采集器集合；步骤二、当存在相匹配的采集器时，执行采集器，获取网页内容；当不存在相匹配的采集器时，查找未匹配采集器集合，从未匹配采集器集合中选择采集器并执行采集器，获取网页内容；采集器的识别流程包括：步骤1、访问目标网页页面，并获取页面字节流；步骤2、将字节流解析成dom对象，将dom中所有Element对应html标签，记录html标签的所有属性和值；步骤3、通过dom对象中的title节点，确认标题范围，其中，所述title节点的Xpath为：//HTML/HEAD/TITLE；再通过查找h节点，比对title节点，确认网页的标题xpath，其中，所述h节点的Xpath为：//BODY//*[name()='H*']；当title节点的值包含h节点的值时，h节点即为网页的标题节点，h节点的xpath即为网页标题的xpath；步骤 4、以h节点为起点，查找发表时间节点；步骤 5、以h节点为起点，扫描h节点的祖父节点对应的所有子节点，查找文本值长度最长的节点，将其确定为网页正文节点；步骤 6、确认作者节点，用“作者节点特征匹配”方式以h节点为起点，扫描h节点的父节点的所有子节点，匹配子节点的文本值是否符合作者节点特征，若符合，则确认该子节点为作者节点；当使用“作者节点特征匹配”方式没有成功确认作者节点时，则使用“位置猜测”方式确认作者节点：以发表节点为起点，分析发表节点在其兄弟节点中的位置，来确定作者节点：a、若发表节点的兄弟节点有多个，且发表节点在所述多个节点中排名在一半之前，则确定发表节点的下一个兄弟节点就是作者节点；b、若发表节点的兄弟节点有多个，且发表节点在所述多个节点中排名在一半之后，则确定发表节点的前一个兄弟节点就是作者节点；步骤 7、根据网页的标题、发表时间节点、正文节点和作者节点，识别出网页内容相匹配的采集器；步骤三、采集成功后，输出网页内容的采集结果；当采集不成功时，返回步骤二，重新选择采集器。