[发明专利]一种内容分发网络的缓存读写系统和方法

说明书

本发明公开一种内容分发网络的缓存读写系统，应用在CDN网络的边缘节点上，包括存储单元、缓存读写单元、内存存储处理单元、硬盘存储处理单元、abc文件缓存系统、数据迁移单元，本发明还公开一种内容分发网络的缓存读写方法，利用本发明公开的系统和方法，实现了缓存的分片存储和快速读写，充分利用磁盘空间同时降低了运营负载，节约了磁盘空间和运营成本，提高了系统的可扩展性，故有明显的技术优势和有益效果。

技术领域

本发明涉及内容分发领域，尤其涉及一种内容分发网络的缓存系统和方法。

背景技术

在现有的内容分发技术中，大多数是将缓存数据写入到当前linux文件系统下的某一个目录，这种方式存在的问题有：

1. 依赖当前的linux的文件系统（如ext2、ext3、ext4）存储文件的格式，这类文件系统的树状目录结构，不利于缓存的存储与管理；

2. 文件存储在磁盘的单一分区，如逻辑分区，无法使用完整的磁盘空间，后期将导致磁盘空间成本大大增加；

3. 大文件写入效率过慢，因为是往单一磁盘写入数据，无法做到单文件，多点存储；

4. 高并发时读取时，磁盘IO压力巨大，导致磁盘的读写速度变慢。

发明内容

本发明的目的是提供一种内容分发网络的多级缓存解决方案，从而解决上述现有技术存在的问题。

为了实现上述目的，本发明采用的技术方案如下：

一种内容分发网络的缓存读写系统，应用在CDN网络的边缘节点上，其特征在于，包括：存储单元、缓存读写单元、内存存储处理单元、硬盘存储处理单元、abc文件缓存系统、数据迁移单元，其中：存储单元：包括内存、硬盘组；缓存读写单元：接受来自外部的读写请求；内存存储处理单元：利用LRU算法处理存储资源，确定资源删除的优先级；硬盘存储处理单元：用于将硬盘映射为HASH环，使用一致性HASH算法处理存储资源，使得每个HASH值映射为HASH环中的硬盘上，实现对硬盘内容的读写；abc文件缓存系统：所述abc文件缓存系统通过将大对象数据拆分成多个小分片数据进行缓存，其中为每个所述小分片数据分配一个HASH键值；数据迁移单元：用于根据迁移策略，处理存储单元间的数据迁移。

优选的，所述硬盘组包括固态硬盘组、机械硬盘组。

优选的，所述的迁移策略包括确定资源的价值和存储单元的优先级，所述资源的价值的确定因素包括资源的访问频率，资源大小，存储介质大小，所述存储单元的优先级的确定因素包括存储单元的读写速度和存储空间。

本发明还公开一种内容分发网络的缓存读写方法，包括：

S1：接收内容请求端发送的HTTP资源请求；

S2：读取本地节点上是否存在所述HTTP资源的缓存；

S3：如果不存在所述HTTP资源的缓存，则转发所述HTTP资源请求到其他网络节点，等待从其他网络节点返回HTTP资源数据；

S4：接收来自其他网络节点的响应数据，将所述响应数据写入本地缓存，并同时将所述响应数据返回给内容请求端。

优选的，所述的步骤S2中，读取本地节点缓存的方法包括：

S21：使用所述HTTP资源的URL地址作为缓存键值，获取缓存的元数据，所述HTTP资源存储为多个数据片段，所述元数据包括所有所述数据片段的缓存键值；

S22：根据元数据中的获取的数据片段的缓存键值，获得各个数据片段的缓存内容；

S23：根据获得的各个数据片段的内容进行组装，获得HTTP资源，完成读取。