[发明专利]一种互联网元数据的分布式采集处理系统及方法

摘要

本发明涉及一种互联网元数据的分布式采集处理系统及方法，该系统包括配置管理图形用户接口模块、元数据采集组件模块和元数据输出模块，配置管理图形用户接口模块：采集分布式组件参数配置，元数据采集和输入日志查看；元数据采集组件模块：读取各业务应用系统的元数据采集配置，周期性地创建并分布式执行采集任务调度程序、生成各业务应用系统的所需要的元数据可扩展标记语言文件；元数据输出模块：负责将元数据可扩展标记语言文件输出给各业务应用系统。本发明有益的效果是:为互联网的元数据采集提供了通用、开放式的分布式组件和服务，为进一步实现互联网电视的站内精准搜索、内容聚合型应用的垂直搜索提供统一规范的数据源。

主权项

一种互联网元数据的分布式采集处理方法，其特征是：该方法的具体步骤为：（1）各业务应用系统通过互联网分布式元数据采集系统的配置管理模块配置提交元数据采集需求；（2）互联网分布式元数据采集系统的元数据采集组件模块周期性地创建和执行页面采集任务调度程序、生成的元数据可扩展标记语言文件；A读取各业务应用系统的元数据采集配置，归并各业务应用系统的元数据采集需求信息的输入元数据来源站点URL列表和输出元数据映射；B 以输入元数据来源站点URL列表为入口，创建并执行抓取任务调度程序，进行映射化简分布式处理，从因特网/企业内部网上抓取html页面内容、并结合元数据映射过滤出有用的元数据源页面；C对元数据源页面进行映射化简分布式处理，根据元数据映射以及各业务应用系统的定义的元数据结构定义，生成目标元数据可扩展标记语言文件；（3）互联网分布式元数据采集系统的元数据输出模块将元数据采集组件生成的元数据可扩展标记语言文件输出给各业务应用系统。