[实用新型]海量数据存储器

说明书

技术领域

本实用新型涉及数据处理技术领域，具体地讲是一种海量数据存储器。

背景技术

随着互联网的普及和智能终端设备的广泛使用，越来越多的终端设备现在可以接入互联网，并通过网络进行远程访问、控制和监控状态。如何有效地存储大量设备(千万级别)连续不间断上传的状态信息，对于实现对大量设备的在线监控和历史状态查询是一个关键的问题。例如，在物流行业中，车辆的位置信息流，需要连续不断上传到服务器上进行存储，上传的数据是24小时不间断的，由于车辆数目众多，由此会产生海量的数据需要被服务器存储，对服务器存储系统造成的IO负荷是巨大的。在这样的场景下，能否实现海量信息存储及快速检索，对于收集和查询大量设备的状态信息起到举足轻重的作用。解决这一个问题的关键就是如何有效减少在大量数据连续不间断的写入服务器存储系统的时候给系统带来的巨大写入(存储)压力，并且在提供足够写入能力的前提下，维持好的读(检索)性能，在存储和检索之间获得平衡。在这个场景中，目前存在的方案主要依靠关系数据库作为检索和存储，而这类方案，往往无法支撑千万级别的设备同时连续不间断的上传数据。缓存技术开始被应用于海量级数据的存储和检索，部分地解决和缓解了上述问题。如何将缓存技术应用于海量数据存储和检索是解决问题的关键，如国家知识产权局公开的专利申请号为201010142195.5的实用新型专利申请“一种海量数据信息检索系统及其方法”，包括终端层、数据服务层、数据缓存服务层和数据存储服务层，由于该专利所涉及的缓存技术是对检索关键词和检索结果的缓存，而海量数据的存储涉及不断的读写，检索只是读的过程，因而无法完全解决上述技术问题。

实用新型内容

本实用新型要解决的技术问题，是提供一种采用缓存技术对大量设备周期上报数据进行存储和检索的海量数据存储器。

本实用新型的技术解决方案，是提供一种以下结构的海量数据存储器，包括数据上传设备、内存I、内存II、内存III和文件系统存储器，所述的数据上传设备与内存I电信号连接，所述的内存II和内存III均与内存I电连接，所述的内存III与文件系统存储器电连接。

采用以上结构，与现有技术相比具有以下优点：采用本实用新型，实现了海量数据的存储(写)和检索(读)两个功能，通过时间段与设备标识(id)相结合的方式来设置文件类型和存储位置，并采用缓存技术对海量数据进行缓存和间歇更新；本实用新型降低了存储大量设备连续不间断上传数据造成的服务器IO压力，提高了能并发支持的上传设备的数目，同时在读/写性能上取得了较好的平衡，在持续的大的存储(写)压力下，仍能获得较好的检索(读)性能。

作为改进，所述的海量数据存储器还包括临时文件存储器，所述的临时文件存储器与内存I电连接，增设临时文件存储器，系统失效后，可在恢复数据时使用，提高了产品的可靠性和故障修复效率。

作为改进，所述的海量数据存储器还包括数据检索模块，所述的数据检索模块与内存II和文件系统存储器电连接，通过数据检索模块可以读取缓存于内存II以及存储于文件系统存储器中的数据，由于读写数据的路径分开，故不会造成传输“拥堵”。

附图说明

图1为本实用新型海量数据存储器的示意框图。

图中所示1、数据上传设备，2、内存I，3、内存II，4、内存III，5、文件系统存储器，6、临时文件存储器，7、数据检索模块

具体实施方式

下面结合附图和具体实施例对本实用新型作进一步地说明。

如图1所示，本实用新型的海量数据存储器，包括数据上传设备1、内存I 2、内存II 3、内存III4和文件系统存储器5，所述的数据上传设备1与内存I2电信号连接，所述的内存II3和内存III4均与内存I2电连接，所述的内存III4与文件系统存储器5电连接。

所述的海量数据存储器还包括临时文件存储器6，所述的临时文件存储器6与内存I2电连接。

所述的海量数据存储器还包括数据检索模块7，所述的数据检索模块7与内存II3和文件系统存储器5电连接。

运用本实用新型的实现方法如下：

(1)、在服务器的文件系统中，按时间段建立目录，每个目录下包含众多<id>.data命令的设备数据文件，每个设备数据文件存放对应设备id在指定时间段的所有数据记录；