[发明专利]一种数据缓存节点管理方法、数据缓存方法和缓存管理节点

说明书

本发明提供了一种数据缓存节点管理方法、数据缓存方法和缓存管理节点，所述数据缓存节点管理方法应用于缓存管理节点，缓存管理节点和至少一个数据缓存节点通信连接，任一数据缓存节点中均包括至少一个硬盘，一种数据缓存节点管理方法包括：获得各数据缓存节点中的硬盘的容量信息；根据容量信息将各硬盘的至少部分存储空间划分为多个数据存储块并为各数据存储块设置块标记；对每个数据缓存节点：根据块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；将每个块组确定为一个用于进行数据缓存的数据缓存单元。本发明能实现低成本的大量数据的缓存。

技术领域

本发明涉及数据缓存领域，特别涉及一种数据缓存节点管理方法、数据缓存方法和缓存管理节点。

背景技术

在数据处理中，为方便数据请求方对频繁访问的数据进行快速访问，提高数据的输出效率，会将硬盘中下载的数据先存放在离数据请求方较近、访问速度更快的系统中，即进行数据缓存。

现有技术中对于数据的缓存基于内存来实现，即将数据先保存于内存空间中，以提高硬盘的输入/输出的效率。

由于内存的容量很小，如果要使用内存实现大量数据的缓存，其成本很高，因此实现低成本的大量数据的缓存成为难题。

发明内容

有鉴于此，本发明提供一种数据缓存节点管理方法、数据缓存方法和缓存管理节点。本发明可以通过使用硬盘实现在低成本下对大量数据的缓存。

为了实现上述发明目的，本发明提供以下技术方案：

一种数据缓存节点管理方法，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，所述方法包括：

获得各数据缓存节点中的硬盘的容量信息；

根据所述容量信息将各硬盘的至少部分存储空间划分为多个数据存储块并为各数据存储块设置块标记；

对每个数据缓存节点：根据所述块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个所述块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；

将每个块组确定为一个用于进行数据缓存的数据缓存单元。

可选的，同一数据缓存节点中的各数据存储块大小相同；

和/或，同一数据缓存节点中的各硬盘中的数据存储块数量相同；

和/或，同一数据缓存节点中的各硬盘对应的标记组相同，每个标记组由其对应的硬盘中的数据存储块的块标记构成；

和/或，同一数据缓存单元中各数据存储块的块标记相同。

可选的，在所述将每个块组确定为一个用于进行数据缓存的数据缓存单元之后，所述方法还包括：

将全部数据缓存单元的数据索引信息保存在所述缓存管理节点本地，并将每一个数据缓存单元的数据索引信息发送至该数据缓存单元所在的数据缓存节点。

可选的，所述方法还包括：

在确定第一数据缓存节点中断数据缓存服务后，将本地保存的所述第一数据缓存节点中各数据缓存单元的数据索引信息删除；

和/或，在获得第二数据缓存节点发送的缓存服务提供请求后，确定所述第二数据缓存节点是否已划分得到数据缓存单元，如果是，则从所述第二数据缓存节点中获取所述第二数据缓存节点中各数据缓存单元的数据索引信息并保存在所述缓存管理节点本地，否则，对所述第二数据缓存节点进行划分以得到数据缓存单元。

可选的，所述数据缓存节点中还包括备用硬盘，所述方法还包括：