[发明专利]海量数据存储和检索方法

说明书

技术领域

本发明涉及数据处理领域，具体地讲是一种海量数据存储和检索方法。

背景技术

随着互联网的普及和智能终端设备的广泛使用，越来越多的终端设备现在可以接入互联网，并通过网络进行远程访问、控制和监控状态。如何有效地存储大量设备(千万级别)连续不间断上传的状态信息，对于实现对大量设备的在线监控和历史状态查询是一个关键的问题。例如，在物流行业中，车辆的位置信息流，需要连续不断上传到服务器上进行存储，上传的数据是24小时不间断的，由于车辆数目众多，由此会产生海量的数据需要被服务器存储，对服务器存储系统造成的IO负荷是巨大的。在这样的场景下，能否实现海量信息存储及快速检索，对于收集和查询大量设备的状态信息起到举足轻重的作用。解决这一个问题的关键就是如何有效减少在大量数据连续不间断的写入服务器存储系统的时候给系统带来的巨大写入(存储)压力，并且在提供足够写入能力的前提下，维持好的读(检索)性能，在存储和检索之间获得平衡。在这个场景中，目前存在的方案主要依靠关系数据库作为检索和存储，而这类方案，往往无法支撑千万级别的设备同时连续不间断的上传数据。缓存技术开始被应用于海量级数据的存储和检索，部分地解决和缓解了上述问题。如何将缓存技术应用于海量数据存储和检索是解决问题的关键，如国家知识产权局公开的专利申请号为201010142195.5的发明专利申请“一种海量数据信息检索系统及其方法”，包括终端层、数据服务层、数据缓存服务层和数据存储服务层，由于该专利所涉及的缓存技术是对检索关键词和检索结果的缓存，而海量数据的存储涉及不断的读写，检索只是读的过程，因而无法完全解决上述技术问题。

发明内容

本发明要解决的技术问题，是提供一种采用缓存技术对大量设备周期上报数据进行存储和检索的海量数据存储和检索方法。

本发明的技术解决方案，是提供一种以下步骤的海量数据存储和检索方法，包括以下步骤：

(1)、在服务器的文件系统中，按时间段建立目录，每个目录下包含众多<id>.data命令的设备数据文件，每个设备数据文件存放对应设备id在指定时间段的所有数据记录；

(2)、服务器收到设备上传数据后，根据数据上报时段将同一时间段上报的所有数据汇总到以该时间段命名的目录下，然后根据设备标识(id)把某时段内一个或多个设备的上报数据汇总到以该时段命名的目录下的与该设备标识关联的文件内；

(3)、进行数据存储时，先缓存一定规模的上报数据，并按步骤1和2对缓存数据进行规整，当缓存数据达到设定规模时，一次性集中刷新到服务器的文件系统中；

(4)、查询数据时，根据所需查询的设备标识(id)与时间段，读取相应文件并筛选出查询结果。

采用以上方法，与现有技术相比具有以下优点：采用本发明，步骤3和4是并列步骤，实现了海量数据的存储(写)和检索(读)两个功能，通过时间段与设备标识(id)相结合的方式来设置文件类型和存储位置，并采用缓存技术对海量数据进行缓存和间歇更新；本发明降低了存储大量设备连续不间断上传数据造成的服务器IO压力，提高了能并发支持的上传设备的数目，同时在读/写性能上取得了较好的平衡，在持续的大的存储(写)压力下，仍能获得较好的检索(读)性能。

作为改进，步骤1中，在指定时间段，设备数据文件与设备id一一对应，或一个设备数据文件存储多个id设备的数据记录；为减少指定时间段目录下文件数目，可以将连续的设备id记录存到一个文件，降低了数据的复杂程度，提高了整个数据库的稳定性，从而提高数据处理效率。

作为改进，步骤3中，数据存储的步骤具体步骤如下：a、设备上传的数据通过网关传送到设备数据队列；b、从设备数据队列批量获取设备数据，检查记录合法性，并将有效记录放入内存I；c、定期检查内存I的设备数据记录数，内存I内的设备数据记录数超过限额，则将这些记录一次性追加到当前临时文件中；并同时把内存I的所有记录按时间段和id进行规整，规整后的数据移入内存II和内存III中；d、内存III中缓存记录数超过设定限额(一次批量写入磁盘的记录数)，将内存III中缓存记录按步骤1和2中的规则写入磁盘；e、将内存III中缓存记录刷新到服务器的文件系统，完成海量数据的存储。

作为改进，内存II中缓存经过规整但尚未写入文件系统的设备数据，供内存查询，内存II和服务器文件系统构成了查询数据库，该设计将数据的查询与写入分开，减少了服务器的数据传输压力。