[发明专利]一种缓存数据的处理方法和处理系统

权利要求书

1.一种缓存数据的处理方法，其特征在于，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据缓存节点中的所有硬盘的存储空间被划分为多个存储组块，每一个所述存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据，所述数据缓存节点包括至少两台缓存服务器，每一台缓存服务器包括多个缓存硬盘，其中，每一个数据存储节点中的所有硬盘按照横向编号的方式进行划分的，且编号是连续的，所有相同编号的数据存储块绑定到一起作为一个数据存储组块，所述方法包括：

接收数据缓存节点上线的上线指令；

确定所述上线指令中的所述数据缓存节点的缓存节点信息，其中，所述缓存节点信息包括：所述数据缓存节点中硬盘的个数、每一个硬盘的容量、IP地址、端口号和已经缓存数据的元数据；

恢复所述数据缓存节点上的所有数据存储组块的管理以及数据存储组块中元数据的管理；

接收用户发送的数据访问请求，所述数据访问请求中包括目标文件的元数据；所述目标文件为大文件的片段数据；

若所述元数据存在缓存映射，则根据所述元数据确定所述片段数据在数据缓存节点的存储位置信息；

根据所述存储位置信息获取所述片段数据；

将所述片段数据返回给所述用户；

所述方法还包括：

根据所述元数据记录所述目标文件的文件信息、文件索引信息、用户请求数据量，并累加所述目标文件的权值，所述权值用于表征所述目标文件的访问热度；

判断所述目标文件的权值是否超过第一阈值；

若是，则将所述目标文件从数据服务器中缓存到数据缓存节点，并将所述目标文件的标识加入最近最少访问列表LRU的一级队列中，其中，级别越高的队列所占用的缓存量就越少；

判断所述目标文件的权值是否超过第二阈值；

若是，则将所述目标文件的标识从一级队列转移至二级队列的末尾，并在所述目标文件的缓存阈值达到预设标准时创建所述目标文件的副本。

2.根据权利要求1所述的处理方法，其特征在于，若所述元数据不存在缓存映射，所述方法还包括：

根据所述元数据在与数据缓存节点通信连接的数据服务器中确定所述片段数据；

将所述片段数据返回给所述用户。

3.根据权利要求1所述的处理方法，其特征在于，所述缓存阈值达到预设标准具体包括：

判断所述目标文件的访问频率是否超过访问频率阈值，得到第一结果；

判断所述目标文件的访问量是否超过访问量阈值，得到第二结果；

判断所述目标文件所在硬盘的输出能力是否超过硬盘输出能力阈值，得到第三结果；

判断所述目标文件所在数据缓存节点的输出能力是否超过节点输出能力阈值，得到第四结果；

若所述第一结果、所述第二结果、所述第三结果以及所述第四结果中的任意一个结果为是时，则确定所述缓存阈值达到预设标准。

4.根据权利要求1所述的处理方法，其特征在于，所述创建所述目标文件的副本包括：

复制所述目标文件并保存在于所述目标文件所在的数据缓存节点的数据存储块不同的数据存储块中或者保存在与所述目标文件所在的数据缓存节点不同的数据缓存节点中。

5.根据权利要求1所述的处理方法，其特征在于，还包括：

若接收到降级指令，则将所述最少访问列表LRU中的所述目标文件的标识执行降级操作，并根据降级操作后所述目标文件的标识所处的所述LRU的位置对所述目标文件或所述目标文件的副本进行删除。