[发明专利]一种基于文件系统的流式动态数据存储方法及系统

说明书

本发明公开了一种基于文件系统的流式动态数据存储方法及系统，所述方法包括：S1，获取待写入的数据；S2，将所述待写入的数据按照表进行分组；S3，确定各个表所需的分页容量，创建对应的分页；S4，将所述数据按照分页指向的数据文件位置对应写入记录内容。实现物联网大并发的数据存储需求，提高检索性能。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于文件系统的流式动态数据存储方法及系统。

背景技术

随着物联网产业的发展和5G通讯技术的普及，末端传感器的数据采集能力趋于成熟，以车载终端为例，每5秒采集一次的车身状态数据大约70字节，如：经纬度，发动机转速，电压，电流，刹车状态等，10万辆车并发在线的车辆每天产生的数据量约110GB，传统关系型数据库面向关系的设计在面对如此大量的数据时显得无能为力。

现有的数据库存储系统是将数据分块按顺序存储在一个文件中，然后采用BTree等建立存储索引，在查询时先根据索引检索符合条件的数据指针，最后根据索引的数据指针读取数据；而物联网的数据特点是定时上报，当大量设备并发上报数据时会造成某个设备的数据平均分布在数据文件的各个位置，当需要查询时会造成磁盘寻道时间，大大影响查询性能，而随着时间增长，索引文件的长度超过极限时也将造成索引无法全部加载到内存高校检索，从而再次降低检索性能。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于文件系统的流式动态数据存储方法及系统，从而实现物联网大并发的数据存储需求，提高检索性能。

为实现上述目的，本发明提供一种基于文件系统的流式动态数据存储方法，包括：

S1，获取待写入的数据；

S2，将所述待写入的数据按照表进行分组；

S3，确定各个表所需的分页容量，创建对应的分页；

S4，将所述数据按照分页指向的数据文件位置对应写入记录内容。

优选的，在步骤S2中，根据一个设备的数据建立一张表进行分组。

优选的，在步骤S4中，每个分页对应指向数据文件的一个数据块，根据分页指示的数据文件位置确定分页头，确定当前写入的位置。

优选的，所述表存储设备的基本属性字段，至少包括设备唯一标识、设备号、当前分页字段。

优选的，所述分页存储分页的基本属性字段，至少包括设备唯一标识、数据文件位置、当前写入位置、字段。

为实现上述目的，本发明还提供一种基于文件系统的流式动态数据存储系统，包括：

索引文件模块，用于索引数据的存储位置；至少包括表信息以及分页信息；其中，所述表信息为根据一个设备的数据建立一张表；所述分页信息为根据各个表所需的分页容量，创建对应的分页；

数据文件模块，用于存储数据的记录内容；根据所述索引文件模块建立的索引，构建指向所述数据文件模块对应的数据块进行存储记录内容。

优选的，所述表存储设备的基本属性字段，至少包括设备唯一标识、设备号、当前分页字段。

优选的，所述分页存储分页的基本属性字段，至少包括设备唯一标识、数据文件位置、当前写入位置字段。

有益效果：

1、本发明提出的方案不用依赖专业的存储设备即可满足物联网大并发的数据存储需求。

2、在同等的硬件条件下，性能比传统的数据库引擎更优。

3、因为不依赖第三方技术，在使用的过程中更简洁，可以降低安装维护成本。