[发明专利]一种基于P2P和云存储实现跨节点存储的方法和装置

说明书

技术领域

本发明属于数据通信领域。本发明综合运用P2P、云存储技术，实现了一种适应跨域的海量存储节点之间快速共享大文件的技术方案。

背景技术

存储是CDN网络的重要组成部分，因为CDN的核心能力就是为用户提供就近服务，需要在网络边缘缓存大量的文件。

随着CDN所承载的视频业务向高清、3D、海量视频文件趋势发展，对存储的容量和效率要求也越来越高，且存储设备更新率极高，大约一年就要全部更新一次。家庭用户的宽带提速带来了新的业务需求，片源码率至少要提高两倍以上，影片数量翻倍，则可以推算出存储成本为几亿计。高昂的存储成本压力使得CDN提供商纷纷寻找新的存储解决方案。

基于文件切片的全网分布式存储是新的解决方案之一。这类方案的核心思想是将一个大文件切片以后，切片文件分散存放在全网不同的物理位置的设备上。对一个覆盖全国的CDN网络来说，这些设备分散在不同的城域网中。当用户请求这个文件时，由一台设备从全网多个节点调度切片文件进行组装并提供用户服务，或多台保存这个文件切片的设备同时为用户提供服务。方案不仅要求单点具备海量存储能力，还要求高效的跨域传送能力，以免产生服务时延。

云存储技术在2010年基本发展成熟，能够提供商用产品。云存储是指通过集群应用和分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问。

云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。目前云存储技术能够解决本地单点海量数据存储的问题，但尚无解决跨域存储的全网云存储方案。

发明内容

鉴于以上，本发明提出一种基于P2P和云存储实现跨节点存储的方法和装置。

本发明所涉及的英文缩写定义如下：

CDN：Content Delivery Network，内容分发网络。通过将内容分布到离用户最近的地方实现面向大规模用户的就近服务。CDN分发的内容可包括文件内容和流媒体内容。

cache：CDN的边缘服务设备，直接向用户提供服务，从用户的角度，它表现为服务器设备，如流媒体服务器或者Web服务器。

P2P：Peer to Peer，点对点通信技术。

P2P Client：P2P客户端程序。

P2P Tracker：P2P索引服务器。

本发明提出的一种基于P2P和云存储实现跨节点存储的方法，包括以下步骤：

外部的内容源注入业务系统，P2P中心节点对源文件进行P2P切片处理；中心节点本地执行P2P本机缓存，通过云存储访问客户端发起本地云存储写入请求，中心节点本地云存储执行写入操作，更新本地目录，中心节点P2P客户端发起P2P全网分发操作，向全网各P2P节点传送文件；节点P2P客户端收到文件，向本地云存储系统发起文件写入请求，本地云存储执行写入操作，更新本地目录。

本发明提出的一种基于P2P和云存储实现跨节点存储的装置，其中：

业务系统包括流媒体服务器，所述流媒体服务器包括：P2P客户端；云存储访问客户端；保存单元，配置于保存本地目录；流化处理单元，配置于接收外部访问请求，根据所述外部访问请求查询保存单元，当查询到本地保存要访问的流媒体内容时，调用云存储访问客户端；当查询到本地未保存要访问的流媒体内容时，调用P2P客户端；

P2P系统包括：P2P切片服务器，对原始上传的流媒体内容文件进行P2P切片；P2P索引服务器，耦合于P2P切片服务器，完成内容切片后在全网存储位置的索引；P2P客户端，耦合于使用P2P服务的具体业务服务器，完成P2P的分片查询、传输以及内容文件的重新组装；

单点云存储系统包括：云存储设备，存储文件内容；云存储访问客户端，是使用云存储进行读写时调用的代理软件；元数据服务器，将云存储设备存储的内容，在存储层面进行物理分片，并将这些物理分片的地址进行存储索引。

目前的云存储技术只有单点存储方案，本发明利用P2P技术实现了全网跨节点的云存储。文件跨域存储、跨域共享和调度。不同物理位置的云存储资源全网共享、统一管理。

对调用存储资源的具体业务设备来说，可以通过本地目录查询本地云存储中的文件，也可以通过P2P系统获得其他物理位置的文件。