[发明专利]一种分布式内容存取调度装置和内容读取方法

说明书

技术领域

本发明涉及一种CDN网络(Content Delivery Network，内容分发网络)，尤其涉及CDN网络中内容存储、分发和调度技术。

背景技术

CDN网络的概念最早应用于互联网Web访问加速，其核心思想是在承载网上构建一个叠加网络，将服务器上的内容分发到CDN的各个边缘节点上，当用户试图访问服务器上的内容时，CDN的重定向功能将用户引导到距离用户最近的边缘节点上，由边缘节点提供内容，从而加快对用户请求的响应速度，减少骨干网络带宽消耗，降低服务器的负荷。

随着大量标清、高清的多媒体视频服务的广泛部署，CDN中单一内容大小从过去的兆字节向G字节，甚至10G字节数量级快速发展。传统CDN将内容完整地缓存到边缘节点的做法不仅大量占用存储空间，而且调度过程时间长，过程中大量消耗边缘节点的I/O能力。用户观看视频内容的行为统计数据显示，很少有用户将内容完整看完。基于这样的统计，比较流行的做法是CDN系统对于媒体内容进行切片，将一个完整的内容切为若干小的分片，在CDN中基于分片分发。由于内容被分片后产生的元数据数量大量增加，定位一个分片的代价比一个内容要大很多，这样分片索引服务器成为系统中的性能瓶颈，而且索引服务器的可靠性要求极高，如果索引服务器崩溃服务将受到严重影响，跨节点的内容查询和调度将无法实现。当边缘节点的分片不全时用户将无法完整观看视频内容。

发明内容

本发明的目的在于，提出一种基于分片的分布式内容存储调度方法和装置，对于内容调度、分发过程进行封装，使内容服务模块不再参与内容的定位和调度过程，内容服务模块在访问内容时对内容是否在本地不关注。

本发明采用以下技术方案

一方面，本发明提供一种分布式内容存取调度装置，包括内容及分片索引单元，所述内容及分片索引单元与内容分发网络CDN内容服务单元隔离，存在于各级节点，用于维护本地节点的内容分片元数据，接收内容分片元数据定位请求，检索所述内容分片元数据；还用于接收内容分片元数据写入请求，记录内容元数据，分配新的内容分片并创建新的分片元数据。

进一步地，该装置还包括内容访问接口和本地内容读写单元，

所述内容访问接口，用于：接收CDN服务模块对内容分片的读写请求，当接收到读请求时发起定位请求，并发起读取内容分片请求，并返回内容分片，当接收到写请求时发起空闲分片定位请求，并发起写内容分片请求；

所述本地内容读写单元，用于：接收所述内容访问接口发出的内容分片读写请求，当接收到读请求时返回内容分片，当接收到写请求时写内容分片。

更进一步地，该装置还包括内容调度控制单元和网络接口，

所述内容调度控制单元，用于：获取并保存CDN拓扑信息，接收所述内容及分片索引单元发出的内容分片调度请求，根据所述CDN拓扑信息向其他节点内容调度控制单元发起查询请求，控制所述网络接口接收内容分片，也用于：响应其他节点内容调度控制单元发起的查询请求，向所述内容及分片索引单元发起查询请求，并控制所述网络接口发送内容分片；

所述网络接口，用于：与其他节点网络接口通信，接收或者发送内容分片。

另一方面，本发明还提供一种分布式内容读取方法，包括以下步骤：

CDN内容服务模块请求读取内容分片；

被请求节点的内容及分片索引单元查询所述内容分片的存储位置；

被请求节点读取所述内容分片并返回给所述CDN内容服务模块。

上述述查询和返回的步骤包括：

所述被请求节点的内容及分片索引单元在所述被请求节点查询到所述内容分片；

本地内容读写单元向本地存储介质读取所述内容分片；

所述本地内容读写单元返回给所述CDN内容服务模块。

上述本地内容读写单元通过内容访问接口将所述内容分片返回给所述CDN内容服务模块。

进一步地，请求读取的内容分片超过所述返回的内容分片，所述内容及分片索引单元继续查询剩余分片内容，并返回查询到的内容分片，直至请求读取的内容分片完全返回。

更进一步地，所述查询和返回的步骤包括：

所述被请求节点的内容及分片索引单元在所述被请求节点没有查询到所述内容分片；

所述被请求节点的内容及分片索引单元获取并保存CDN拓扑信息；

所述被请求节点的内容及分片索引单元依据或取的CDN拓扑信息，向内容调度控制单元请求远程调度所述内容分片；

被请求的远端节点内容调度控制器向本节点内容及分片索引单元请求查询所述内容分片；

本节点内容及分片索引单元查询所述内容分片；