[发明专利]海量数据存储和检索方法

权利要求书

1.海量数据存储和检索方法，其特征在于：包括以下步骤：

(1)、在服务器的文件系统中，按时间段建立目录，每个目录下包含众多<id>.data命令的设备数据文件，每个设备数据文件存放对应设备id在指定时间段的所有数据记录；

(2)、服务器收到设备上传数据后，根据数据上报时段将同一时间段上报的所有数据汇总到以该时间段命名的目录下，然后根据设备标识(id)把某时段内一个或多个设备的上报数据汇总到以该时段命名的目录下的与该设备标识关联的文件内；

(3)、进行数据存储时，先缓存一定规模的上报数据，并按步骤1和2对缓存数据进行规整，当缓存数据达到设定规模时，一次性集中刷新到服务器的文件系统中；

(4)、查询数据时，根据所需查询的设备标识(id)与时间段，读取相应文件并筛选出查询结果。

2.根据权利要求1所述的海量数据存储和检索方法，其特征在于：步骤1中，在指定时间段的目录下，设备数据文件与设备id一一对应，或一个设备数据文件存储多个id设备的数据记录。

3.根据权利要求1所述的海量数据存储和检索方法，其特征在于：步骤3中，数据存储的步骤具体步骤如下：a、设备上传的数据通过网关传送到设备数据队列；b、从设备数据队列批量获取设备数据，检查记录合法性，并将有效记录放入内存I；c、定期检查内存I的设备数据记录数，内存I内的设备数据记录数超过限额，则将这些记录一次性追加到当前临时文件中；并同时把内存I的所有记录按时间段和id进行规整，规整后的数据移入内存II和内存III中；d、内存III中缓存记录数超过设定限额(一次批量写入磁盘的记录数)，将内存III中缓存记录按步骤1和2中的规则写入磁盘；e、将内存III中缓存记录刷新到服务器的文件系统，完成海量数据的存储。

4.根据权利要求3所述的海量数据存储和检索方法，其特征在于：内存II中缓存经过规整但尚未写入文件系统的设备数据，供内存查询，内存II和服务器文件系统构成了查询数据库。

5.根据权利要求1所述的海量数据存储和检索方法，其特征在于：步骤4中，接到外部的查询请求时，由查询的设备id和时间段定位到对应的设备数据文件，进入内存II和服务器文件系统检索相应的设备数据文件，读取相应的记录并进行排序处理，最后返回响应。