[发明专利]云计算环境下基于文件实现异步数据存储的方法

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及云计算环境下计算机企业应用技术领域，具 体是指一种云计算环境下基于文件实现异步数据存储的方法。

背景技术

目前，基于云计算的应用开发中，对数据的处理要求也越来越高，每天动辄产生几个GB， 几个PB的数据，这些数据为后续的数据分析打下了基础。随着数据量的增大，对数据的快 速存储、完整性的要求也越来越迫切。

为方便数据的分析，通常采用把需要分析的数据存放到关系型数据库中，以便后续更加 方便地对数据进行多维度的分析；对于每天大数据量的存储，数据库的IO压力将非常大，数 据库成为了影响业务正常运行的瓶颈所在。为了缓解数据入库的压力，当前的常用作法有数 据库分库分表和存储数据队列缓存两种。数据库分库分表就是把原本存储于一个库的数据分 块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上，这种方式带来性能提 升的同时也带来数据库维护及应用开发的难度，同时在执行分库分表之后，由于数据存储到 了不同的库上，数据库事务管理也会比较困难。如果依赖数据库本身的分布式事务管理功能 去执行事务，将付出高昂的性能代价；如果由应用程序去协助控制，形成程序逻辑上的事务， 又会造成编程方面的负担。存储数据队列缓存的模式把数据先放到基于内存的缓存中，然后 通过异步写入的方式把数据写入到数据库中，此模式可以缓解数据库的压力，但在大数据量 的情况下，会造成缓存数据的堆积，带来比较大的内存消耗，给系统带来不稳定，而且如果 系统由于一些特殊原因需要重启或者系统宕机了，则缓存中的数据将会丢失，给系统带来不 可挽回的损失。

基于当前常用的数据存储方案，在基于云计算环境的大数据量的情况下，对数据库管理、 数据的完整性带来了比较大的挑战，同时给数据库运维人员、系统开发人员增加了大量的工 作量，对于成本造成了极大的浪费；如果数据的完整性得不到保障，以后的数据分析结果可 能与实际相差甚远，进而影响最后决策的制定。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现通过文件的方式、保 证了数据存储的完整性、系统重启后数据不会丢失、同时文件的存储速度相比关系型数据库 在性能方面会大大提升的云计算环境下基于文件实现异步数据存储的方法。

为了实现上述目的，本发明的云计算环境下基于文件实现异步数据存储的方法具有如下 构成：

该云计算环境下基于文件实现异步数据存储的方法，其主要特点是，所述的方法包括对 存储数据的数据文件格式进行定义；将存储的数据按预设的要求和格式保存到数据文件中； 通过异步线程将所述的数据文件中的数据存储到关系型数据库中。

较佳地，所述的对存储数据的数据文件格式进行定义，包括以下步骤：

(1)定义存储数据的数据文件的参数数据，包括文件存储路径、文件大小、文件个数和 命名格式；

(2)定义存储数据的数据文件的存储格式。

更佳地，所述的定义存储数据的数据文件的存储格式，具体为：

配置存储数据的数据文件的存储格式并设置以二进制存储数据。

更佳地，所述的对存储数据的数据文件格式进行定义，还包括以下步骤：

(3)定义数据索引文件的存储格式，所述的数据索引文件用以记录数据的起始、结束位 置；

(4)定义数据处理指针文件的存储格式，所述的数据处理指针文件用以记录当前数据的 处理进度。

较佳地，所述的将存储的数据按预设的要求和格式保存到数据文件中，包括以下步骤：

(5)定义要存储数据的格式；

(6)组装存储的数据；

(7)保存数据到数据文件；

(8)保存数据索引到数据索引文件；

(9)文件大小超过预先设置值后自动生成新的数据文件。

更佳地，所述的定义要存储数据的格式，包括以下步骤：

(5-1)配置每条数据的存储格式；

(5-2)存储数据的编码格式定义。

更佳地，所述的组装存储的数据，包括以下步骤：

(6-1)存储的数据按指定格式存储；

(6-2)数据按指定的编码格式进行编码。

更佳地，所述的保存数据到数据文件，包括以下步骤：

(7-1)调用数据存储的接口IDataStore；