[发明专利]一种缓存数据的处理方法和处理系统

说明书

本发明属于分布式系统技术领域，提供了一种缓存数据的处理方法和处理系统，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据存储节点中的所有硬盘的存储空间被划分为多个存储组块，每一个所述存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据，所述方法通过将硬盘进行划分得到数据存储组块，将大文件的片段数据保存在数据存储组块中，大大提高了缓存的容量及效率，将硬盘作为缓存的介质，实现了低成本的大量数据的缓存，实现了大文件的缓存处理。

技术领域

本发明涉及分布式系统技术领域，特别涉及一种缓存数据的处理方法和处理系统。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上的存储系统，通常通过一组或多组服务器或计算机构成，展现给用户的是一个整体，对用户来说好像是一个系统。

在分布式系统中，通常包括缓存服务器和数据服务器，缓存服务器用于缓存数据，缓存指的是将需要频繁访问的网络内容存放在离用户较近、访问速度更快的系统中，以提高内容访问速度的一种技术。缓存服务器就是存放频繁访问内容的服务器。

但是，现有技术中，仅提供了对小文件进行缓存的方法，对大文件进行缓存并没有成熟的技术方案。

发明内容

有鉴于此，本发明提供一种缓存数据的处理方法和处理系统，用以实现大文件的缓存处理率。

为了实现上述发明目的，本发明提供以下技术方案：

一种缓存数据的处理方法，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据存储节点中的所有硬盘的存储空间被划分为多个存储组块，每一个所述存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据，所述方法包括：

接收用户发送的数据访问请求，所述数据访问请求中包括目标文件的元数据；所述目标文件为大文件的片段数据；

若所述元数据存在缓存映射，则根据所述元数据确定所述片段数据在数据缓存节点的存储位置信息；

根据所述存储位置信息获取所述片段数据；

将所述片段数据返回给所述用户。

优选的，若所述元数据不存在缓存映射，所述方法还包括：

根据所述元数据在与数据缓存节点通信连接的数据服务器中确定所述片段数据；

将所述片段数据返回给所述用户。

优选的，还包括：

根据所述元数据记录所述目标文件的文件信息、文件索引信息、用户请求数据量并累加所述目标文件的权值，所述权值用于表征所述目标文件的访问热度。

优选的，还包括：

判断所述目标文件的权值是否超过第一阈值；

若是，则将所述目标文件从所述数据服务器中缓存到数据缓存节点，并将所述目标文件的标识加入最近最少访问列表LRU的一级队列中。

优选的，还包括：

判断所述目标文件的权值是否超过第二阈值；

若是，则将所述目标文件的标识从一级队列转移至二级队列的末尾，并在所述目标文件的缓存阈值达到预设标准时创建所述目标文件的副本。

优选的，所述缓存阈值达到预设标准具体包括：