[发明专利]使冗余最小化的Web馈送聚合方法

说明书

技术领域

本发明涉及Web馈送(feed)的聚合。

背景技术

自从开始于20世纪90年代早期起，万维网(World Wide Web)已经变得非常流行，它现在包括数以亿计的Web页面，这些Web页面包括诸如文本、图像、视频以及去往其他Web页面的链接(也称为超链接)等各种内容。数以亿计的Web冲浪者每天在使用着万维网。

现在，上线是非常简单的，既不需要专门技艺也不需要国家或国际机构前的专门过程，事实上也不存在这样的机构。令人惊讶的是，尽管任何人都将受益于这种分类，但并没有尝试对Web进行分类以便将Web站点按类分组(基于预定标准)。因此，Web冲浪者获取重要、可靠的更新信息变得越来越难。当然，Web浏览器是有帮助的，但是随着Web页面的数目增加，大量语义搜索请求得到的是未加工的内容，这些内容大多数未经分类，常常是冗余的，不明确的，最后简单来说，是没有用的。

在21世纪的早些时候，提出了一种称为联合(syndication)的解决方案，以帮助冲浪者在正确的时刻得到正确的信息。在联合中，一个Web站点的部分可用于其他Web站点。更具体地，在Web联合中，内容(通常称为Web馈送)以特定格式——通常是基于XML的格式(XML为可扩展标记语言)，诸如RSS(真正简易联合)或Atom——被置于Web站点上，并且与馈送链接相关联，另一用户(客户端)可以订阅馈送链接，以借助于称为馈送聚合器(也称为馈送阅读器或新闻阅读器)的、在客户端的终端或服务器上本地运行的特定应用来获取相应的内容。

在已经订阅馈送的情况下，馈送聚合器可以配置用于以预定的间隔(可以是用户定义的)检查和获取更新的内容。现代Web浏览器通常包括内置的聚合器，诸如iGoogleTM和My YahooTM。美国专利申请号US 2008/0034058(已转让给Marchex公司)和US2008/0046543(已转让给RealNetworks)都示出了用于获得Web馈送的方法。

尽管馈送聚合器是用于从万维网获取更新信息并通过用户友好的图形接口(GUI)使其可由最终用户获得的强大资源，但是文章的量有时可能是压倒性的，特别是当用户已经订阅了很多Web馈送时。为了解决这一问题，某些馈送聚合器包括允许用户利用关键词为馈送添加标签的功能，以便将可用的文章分类和过滤到易于导航的类别中。然而，该方式是耗时的，因为用户必须对他希望从其获得更新内容的馈送进行预先分类。而且，当要获取的内容随着每次更新改变主题时(例如，在报纸网站中)，为Web馈送添加标签是完全无用的。

发明内容

显然，需要一种允许Web冲浪者以完全可行的方式自动地获得从Web馈送获取的信息的方案。

本发明的目的是提供这样的方案。

由此，根据一个方面，本发明提供一种用于聚合联合Web内容的方法，包括步骤：

-从预定Web馈送获取更新内容；

-将所述更新内容与先前获取的已存储内容(例如，存储为馈送历史数据库中的条目)进行比较；

-如果认为更新内容不同于已存储内容，则存储更新内容；

-如果认为更新内容与已存储内容相同，则删除更新内容。

可以提供进一步的步骤，即如下步骤：

-如果认为更新内容是已存储内容的补充，则向该已存储内容添加该更新内容；

-计算相似性索引其表示更新内容与已存储内容之间的相似性程度；

-将所述相似性索引与一个或多个阈值进行比较。更具体地，将相似性索引与两个阈值S_min和S_max进行比较，由此

-如果相似性索引低于S_min，则认为更新内容不同于已存储内容；

-如果相似性索引大于S_max，则认为更新内容与已存储内容相同，并可以因此向已存储内容添加该更新内容；

-如果相似性索引在S_min与S_max之间，则认为更新内容是已存储内容的补充。

根据另一方面，本发明提供一种馈送聚合器，包括：

-馈送阅读器，配置用于检查和获取来自预定Web馈送的更新内容；

-过滤模块，配置用于管理所述更新内容与先前获取的已存储内容的比较；

-馈送历史数据库，用于存储内容。

馈送聚合器还可以包括一个或多个条目分析器，其链接至过滤模块，配置用于将所述更新内容与已存储内容进行比较。更具体地，一个或多个条目分析器可以配置用于：