[发明专利]一种互联网元数据的分布式采集处理系统及方法

权利要求书

1.一种互联网元数据的分布式采集处理方法，其特征是：该方法的具体步骤为：

（1）各业务应用系统通过互联网分布式元数据采集系统的配置管理模块配置提交元数据采集需求；

（2）互联网分布式元数据采集系统的元数据采集组件模块周期性地创建和执行页面采集任务调度程序、生成的元数据可扩展标记语言文件；

A读取各业务应用系统的元数据采集配置，归并各业务应用系统的元数据采集需求信息的输入元数据来源站点URL列表和输出元数据映射；

B 以输入元数据来源站点URL列表为入口，创建并执行抓取任务调度程序，进行映射化简分布式处理，从因特网/企业内部网上抓取html页面内容、并结合元数据映射过滤出有用的元数据源页面；

C对元数据源页面进行映射化简分布式处理，根据元数据映射以及各业务应用系统的定义的元数据结构定义，生成目标元数据可扩展标记语言文件；

（3）互联网分布式元数据采集系统的元数据输出模块将元数据采集组件生成的元数据可扩展标记语言文件输出给各业务应用系统。

2.  根据权利要求1所述的互联网元数据的分布式采集处理方法，其特征是：所述业务应用系统元数据采集配置包括以下三个方面：

（1）元数据来源站点URL列表：定义业务应用系统的元数据将从哪些web站点去抓取；

（2）元数据结构定义：定义业务应用系统的元数据的可扩展标记语言结构；

（3）元数据映射：具体定义业务应用系统的元数据将从哪些URL的html源页面上提取、html源页面字段与目标元数据可扩展标记语言字段之间的xpath对应关系。

3.根据权利要求1所述的互联网元数据的分布式采集处理方法，其特征是：在步骤B中抓取流程为： 以元数据来源站点URL列表为初始入口、结合抓取历史记录，生成第一等级的抓取列表，然后在各分布式节点上创建并执行第一等级的抓取任务：根据抓取列表里的URL逐个抓取html页面，计算html页面内容的MD5值，在抓取历史中查找此URL的记录并比对MD5值：

若上次成功抓取过URL且MD5值与上次相同，则更新抓取历史记录、延长此URL的抓取周期，然后直接进入下一URL的抓取处理；

若未成功抓取过URL或是MD5值与上次不同，则需要完成以下三步后再进入下一URL的抓取处理：

B1) 若当前抓取等级小于系统的最大抓取等级，则需解析出此html里的超链接；

B2) 如果当前URL与元数据映射中的元数据映射单元的统一资源定位符前缀属性匹配，则将此URL及html页面内容放入元数据源中；

B3) 追加/更新抓取历史记录，包括以下信息：URL, 抓取等级，最近抓取状态，最近抓取时间，抓取周期，下次抓取时间=最近抓取时间+抓取周期；

第一等级的抓取任务完成后，抓取任务将返回解析html所得的超链列表，抓取任务调度程序j将根据超链列表、结合抓取历史记录形成第二等级的抓取列表，创建并执行下一个等级的抓取任务调度程序，依此迭代，直到达到系统指定的最大抓取等级才结束本轮抓取。