[发明专利]用于提供分布式、分散式数据存储与检索的系统和方法

说明书

发明领域

本发明一般涉及用于提供分布式、分散式数据存储与检索的系统和方法。更具体地，本发明涉及为激活基于对等结构的(peer-based)服务(例如，富媒体(richmedia)广告、照片和视频共享与存储以及视频电子邮件)提供节省成本机制的分布式存储和检索模型。

发明背景

多种情形都可经由基于对等结构的分布式存储系统激活。这些情形的示例包括基于对等结构的文本与富媒体广告存储/高速缓存/复制、基于对等结构的数字照片和视频的存储与共享、以及基于对等结构的视频电子邮件。这些情形在集中式服务的情况下成本高的不切实际，因为在数据中心内的存储成本会变得极大。

许多网站正在朝带高度目标化广告的纯粹基于广告的模型转变，其中上述高度目标化的广告基于先前向用户学习的知识而出现。例如，已知能够收集与人有关的大量人口统计学数据，并且单是基于在网站单击流路径(clickstream)中收集的数据就能够推断出相当多的信息。高度目标化的广告例如可以搜索关键词为基础。这一情形通常需要大量存储。

以集中化的方式存储这些广告已被在先实现。然而在诸如新兴市场的某些市场中存在着困难，这是因为需要不同的成本结构才能将这些广告有效地存储、发送并高速缓存入本地机器。在许多情况下，集中这些广告并支付在数据中心的存储成本会因为这些广告通常定位于各种环球市场使得成本过高而难以实现。为面向全世界发送广告支付带宽成本通常不是一个有效或经济的方法。

照片共享的现有解决方案分属两个阵营：集中式存储(例如，photos.msn.com)或者点对点(“P2P”)照片共享(例如，Google“Picasa”的当前版本)。集中式存储具有明显的局限性：如果免费提供，则可用于照片存储的总空间会变得极为有限。另一方面，典型的使用费远高于用户仅购买属于他们自己磁盘的花费。如果他们购买属于他们自己的磁盘，则他们需要对照片备份负责并且因为大多数宽带连接限制了上传速度，所以会极大地限制能浏览这些照片的人数。

诸如Groove或Google Picasa当前版本的P2P照片共享解决方案使得所有机器上的整个照片副本都得以参与一对等组。虽然该方法避开了上述的存储成本和带宽问题，但是它也引入不同的问题。例如，如果参与该组的人数不多，则在参与者照片本地副本丢失的情况下存在这些照片不可用的公平机率(取决于各对等结构的正常运行时间)。此外，这种强力解决方案要求全部100％的对等结构存储全部100％的照片。这就导致整个对等组使用大量的冗余存储，并且无法衡量。

经电子邮件递送的视频消息会遭受与以上结合照片共享所述问题相同的许多问题，但是它们的更大(使得存储成本更高)。除非服务来自中央数据中心，否则递送往往会不可靠。虽然现场P2P视频电话会议没有存储问题(因为视频在发送同时就被消耗)，但是在质量(受带宽所限)及通话方同步性上受到进一步的限制。

于是，在本领域内就需要能够为激活基于对等结构的服务(例如，富媒体广告、照片/视频共享/存储、以及视频电子邮件)提供节省成本机制的分布式存储模型。

发明概述

本发明提供用于提供分散式、分布式数据存储与检索的系统和方法。这一系统包括互连的节点网络。每一节点都具有在其上运行的一批一个或多个进程，这些进程形成“本地高速缓存和传输层”、“流存储层”、“组块存储层”、以及“碎片存储层”。一批进程还可提供用于“块”存储。

本地高速缓存和传输层可以包括存储服务和路由选择服务。存储服务可以接收存储请求以存储任意长度的某一比特流。路由选择服务可以将该比特流传递至任何流存储服务。该流存储服务可以在本地永久存储设备中存储这些比特流用于随后的检索，并且还将该比特流分成一个或多个“组块”。该流存储服务随后将这些组块传递至各自的组块存储服务。组块存储服务可以在本地永久存储设备中存储这些组块用于随后的检索，并且还将该组块分成一个或多个“碎片”。该组块存储服务随后可以将这些碎片编码成检验块并将它们传递至各自的碎片存储服务。碎片存储服务可以在本地永久存储设备中存储这些碎片用于随后的检索。这样，比特流就被分成多个检验块，并且每一检验块通常都被存储在分布在这些节点的巨大网络中的不同网络节点上。

这一分散式、对等式、分布式存储系统可用于数字广告的本地存储和高速缓存，即将这些数字广告存储并高速缓存在诸如位于浏览这些广告的实际国家或城市之内的客户机PC中。对于数字照片与视频的存储和共享而言，下层的分布式存储机制可以在无需请求大量冗余的情况下实现照片的极高可靠性和可用性。对于视频电子邮件而言，该分布式存储模型则可建立适用于大型视频消息的可靠邮件递送系统。