[发明专利]一种聚合Web站点内容的系统和方法

说明书

技术领域

本发明涉及万维网领域，更具体的说，涉及一种聚合Web站点内容的系统和方法。

背景技术

基于Web的内容聚合应用程序正在互联网上逐渐兴起，它们通常被称为Web聚合应用(Mashup)，这种应用程序通过集成Web站点的功能和/或数据来创建，形成一个整合应用。例如，Housingmaps.com将Craigslist.org上的公寓出租以及购买数据与Google的地图呈现服务集成起来；而Diggdot.us则将Digg.com、Slashdot.org和Del.icio.us上与技术有关的内容聚合起来。用户只需访问该Mashup应用，即可得到网站最新内容的聚合视图，避免了用户经常需要访问一个或多个网站并进行内容聚合的重复劳动。

一般来说，这样的Mashup应用是由掌握一定编程知识的开发人员来创建的，不懂得编程知识的大众用户无法根据自己的个性化需求方便地进行Web内容的聚合。

为了方便大众用户按照自己的需求聚合Web站点的内容，有必要提供支持大众用户进行Web站点内容聚合的系统。目前，也出现了一些帮助普通用户创建Mashup应用的工具，例如公开日期为2008年6月26日的公开号为US 2008/0155440 A1的美国专利申请中提供的Yahoo！Pipes。它们提供可视编辑器，让用户不需要编写任何代码，就可以使用现有网站的内容或功能来创建新的Web应用(或服务)。但是目前支持大众用户进行Web站点内容聚合的Mashup应用构建工具，对普通用户来说仍然具有较高的使用门槛：一方面，它们一般基于可视化“数据流建模”的方式提供内容聚合的用户交互界面，例如，在Yahoo！Pipes中，其内容聚合器的几个核心元素是模块(module)、线(wire)和管(pipe)。其中，模块是执行某任务的可视化模块，一个模块包括一个输入或/和输出节点，线用来描述模块之间的输入/输出关系，用模块之间的可视化连线表示；管实质上是一系列数据处理指令，用多个模块通过“线”的连接构成的可视化“流程”表示。对普通用户来说，这种可视化数据流建模方式仍然是一种陌生的复杂交互方式，例如输入输出的关联操作，普通用户通常难以理解；另一方面，在这些工具中，内容聚合的信息来源往往局限于系统所提供的有限的“信息源”，要聚合系统中尚未有的HTML网页内容，需要用户掌握一定的正则表达式知识，而这是普通用户所不易理解的，例如，在Yahoo！Pipe中，对于HTML格式的Web信息源，需用用户自行编写正则表达式得到网页上的内容再与其他内容进行聚合。

发明内容

本发明要解决的技术问题是提供一种支持大众用户对Web站点内容进行聚合的系统及方法，使用该系统和方法可以让没有任何编程知识的大众用户，不需编写任何程序代码，即可将Web站点的HTML网页、RSS内容等抽取出来，并构造出对网站内容进行处理或聚合的Mashup应用。

为实现上述目的，根据本发明的一个方面，提供了一种聚合Web站点内容的系统，包括：客户端系统，Mashup服务器，和包括一个或多个内容服务器的网络，其中

该客户端系统，用于通过该网络访问该一个或多个内容服务器并接收网页内容，并生成Mashup脚本；其中，该客户端系统包括Mashup编辑器，其用于根据用户的交互将该网页内容封装到信息源中，建立嵌套表格数据模型并生成该Mashup脚本，该嵌套表格数据模型包括原子属性及其实例和/或元组属性及其实例；

Mashup服务器，用于执行该Mashup脚本对该信息源进行处理或聚合，生成信息视图；

包括一个或多个内容服务器的网络，其中该内容服务器用于通过该网络向该客户端系统提供该网页内容；

其中，所述Mashup指聚合应用；所述信息源是封装类，包括描述信息，它提供了网页内容的统一数据访问接口，以及一致的数据模型来表示网页内容的结构或模式。

在上述系统中，该Mashup服务器包括：

Mashup处理模块，用于执行该Mashup脚本，根据该Mashup脚本对该信息源进行处理或聚合。

在上述系统中，该Mashup编辑器包括：

内容发现与标注器，用于根据该网页内容和用户的交互将该网页内容封装到信息源中，建立嵌套表格数据模型，其中该嵌套表格数据模型包括原子属性及其实例和/或元组属性及其实例；

内容聚合器，用于根据该用户的交互生成该Mashup脚本。

在上述系统中，该内容发现与标注器还包括抽取规则生成模块，用于根据用户的交互生成网页抽取规则；