[发明专利]一种互联网元数据的分布式采集处理系统及方法

说明书

技术领域

本发明涉及分布式系统领域，主要是一种互联网元数据的分布式采集处理系统及方法。

背景技术

随着三网融合的推行，越来越多的互联网应用被“搬”到了电视上。可以预见，随着互联网电视应用的爆炸式增长，用户个性化需求的日益深入，互联网信息会高度聚合经二次开发成为互联网电视上的增值应用，另外，互联网电视的操作方便性不及PC电脑和手机、

互联网电视的界面内容容量也不及PC，这些因素都潜在地要求互联网电视上的实现更精准的站内搜索，而当前互联网上最流行的基于全文检索的搜索技术实现显然无法满足互联网电视领域的客观需求。另一方面，随着软件商业销售方式的演化，软件提供商正从原先的系统和产品提供商向平台服务提供商演化，IPTV也必然会从单纯的TV业务平台向面向服务的支撑平台演化，相应地，软件构架技术将从原先的面向产品向面向服务发展，软件即服务SaaS(Software as a Service)成为互联网领域最重要的技术构架方式。

目前IPTV对元数据的处理不够通用和开放，已有实现无法重用到互联网电视平台的站内精准搜索、互联网电视增值业务应用等领域。本发明以SaaS为构架、以分布式计算为技术基础，为互联网海量元数据采集和处理提供通用的、开放式的分布式组件和服务。

发明内容

本发明的目的是为互联网电视业务支撑平台实现一种统一的、通用的、开放式的互联网元数据的分布式采集处理系统及方法，本发明能同时为多个互联网业务应用的互联网元数据采集和处理提供支撑服务，从而大大降低内容聚合型互联网应用的开发难度，缩短其开发周期、降低其部署和运营成本。

本发明解决其技术问题采用的技术方案：本发明提供了一种互联网元数据的分布式采集处理方法，该方法的具体步骤为：

(1)各业务应用系统通过互联网分布式元数据采集系统的配置管理模块配置提交元数据采集需求；

(2)互联网分布式元数据采集系统的元数据采集组件模块周期性地创建和执行页面采集任务调度程序(采集job)、生成的元数据可扩展标记语言(XML)文件；

A读取各业务应用系统的元数据采集配置，归并各业务应用系统的元数据采集需求信息的输入元数据来源站点URL列表(Site URL List)和输出元数据映射(Meta Data Mapping)；

B以输入元数据来源站点URL列表(Site URL List)为入口，创建并执行抓取任务调度程序(抓取job)，进行映射化简(Map Reduce)分布式处理，从因特网/企业内部网(Internet/Intranet网)上抓取html页面内容、并结合元数据映射(Meta Data Mapping)过滤出有用的元数据源页面；

C对元数据源页面进行映射化简(Map Reduce)分布式处理，根据元数据映射(Meta Data Mapping)以及各业务应用系统的定义的元数据XSD结构定义，即Meta Data XML Schema Define，生成目标元数据可扩展标记语言(XML)文件；

(3)互联网分布式元数据采集系统的元数据输出模块将元数据采集组件生成的元数据可扩展标记语言(XML)文件输出给各业务应用系统。

更进一步的，所述业务应用系统元数据采集配置包括以下三个方面：

(1)元数据来源站点URL列表(Site URL List)：定义业务应用系统的元数据将从哪些web站点去抓取；

(2)元数据XSD：定义业务应用系统的元数据的可扩展标记语言(XML)结构；

(3)元数据映射：具体定义业务应用系统的元数据将从哪些URL的html源页面上提取、html源页面字段与目标元数据可扩展标记语言XML字段之间的xpath(一种用于在XML文档中进行导航的语言)对应关系。

更进一步的，在步骤B中抓取流程为：以元数据来源站点URL列表(Site URL List)为初始入口、结合抓取历史记录(Fetch History)，生成第一等级(level 1)的抓取列表(fetch list)，然后在各分布式节点上创建并执行第一等级(level 1)的抓取任务(task)：根据抓取列表里的URL逐个抓取html页面，计算html页面内容的MD5值，在抓取历史中查找此URL的记录并比对MD5值：

A)若上次成功抓取过URL且MD5值与上次相同，则更新抓取历史记录(Fetch History)、延长此URL的抓取周期，然后直接进入下一URL的抓取处理；