[发明专利]在大数据存储的存储设备中确定低频数据项的方法及系统

摘要

本发明公开了一种在用于大数据存储的存储设备中确定低频数据项的方法及系统，其中方法包括：在确定大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，确定每个存储设备的访问信息统计文件；基于访问信息统计文件确定当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值的多个预选数据项，根据大数据存储系统的系统记录设备中的设备描述信息确定每个存储设备的总存储容量，根据每个存储设备的存储信息区域中的存储信息文件来确定每个存储设备的空闲存储容量，确定每个存储设备中的每个预选数据项的低频系数；将每个存储设备中的多个预选数据项中低频系数小于低频系数阈值的预选数据项确定为低频数据项。

主权项

1.一种在用于大数据存储的存储设备中确定低频数据项的方法，所述方法包括：响应于接收到在大数据存储系统内用于大数据存储的多个存储设备的每个存储设备中确定低频数据项的请求，将所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备，以由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系统缓冲设备的临时数据项集合中的每个临时数据项进行内容匹配以确定每个临时数据项的内容匹配度，从多个临时数据项中选择内容匹配度大于匹配度阈值的至少一个选定的临时数据项，将所选择的至少一个选定的临时数据项发送给所述新的数据访问请求所指示的数据请求方，并且在所述系统缓冲设备的缓冲区内保存所述新的数据访问请求；在确定所述大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，获取所述大数据存储系统内多个存储设备中每个存储设备的运行日志文件，并且基于当前的统计时间区间和每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息，根据预先设定的访问时间间隔的阈值和每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件，其中访问时间间隔是数据项的相邻的两次被访问之间的一段时间；其中所述访问信息统计文件包括频率统计表，所述频率统计表包括多个频率记录，其中每个频率记录的内容为8元组<数据项的标识符、被访问次数、统计起始时间、统计结束时间、存储尺寸、大于访问时间间隔的阈值的次数、最大访问时间间隔、最小访问时间间隔>；基于所述访问信息统计文件确定当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值的多个预选数据项，根据所述大数据存储系统的系统记录设备中的设备描述信息确定每个存储设备的总存储容量，根据每个存储设备的存储信息区域中的存储信息文件来确定每个存储设备的空闲存储容量，根据下面的公式来确定每个存储设备中的每个预选数据项的低频系数：其中DTFi为当前存储设备中第i个预选数据项的低频系数、timax为当前存储设备中第i个预选数据项的多个访问时间间隔中的最大访问时间间隔、timin为当前存储设备中第i个预选数据项的多个访问时间间隔中的最小访问时间间隔、tibegin为当前存储设备中第i个预选数据项的统计起始时间、tiend为当前存储设备中第i个预选数据项的统计结束时间、C为当前存储设备的总存储容量、R是当前存储设备的空闲存储容量、UNi为当前存储设备中第i个预选数据项的多个访问时间间隔中的大于访问时间间隔的阈值的次数、ANi为当前存储设备中第i个预选数据项的被访问次数，其中i为自然数并且PT≥i≥1，PT为当前存储设备中预选数据项的数量并且PT≥100；以及将每个存储设备中的多个预选数据项中低频系数小于低频系数阈值的预选数据项确定为低频数据项。