[发明专利]一种大数据实时存储方法

说明书

本发明公开了一种大数据实时存储方法，为了实现大数据的实时高速存储，通过高速数字输入输出卡配合连续双缓冲单元以及高速硬盘，实现在较小内存硬件条件下不间断的数据存储。本发明方法将微处理器的缓冲单元中设置两个连续的缓冲区域，循环将数据依次存入两个连续的缓冲区域，在其中一个缓冲区域存入数据的同时，将另一个缓冲区域的数据存入到高速硬盘中。

技术领域

本发明涉及一种大数据实时存储方法。

背景技术

大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。

传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能都发生了前所未有的变化。

海量存储的含义在于，其在数据存储中的容量增长是没有止境的。因此，用户需要不断地扩张存储空间。但是，存储容量的增长往往同存储性能并不成正比。这也就造成了数据存储上的误区和障碍。海量存储技术的概念已经不仅仅是单台的存储设备。而多个存储设备的连接使得数据管理成为一大难题。

发明内容

发明目的：针对上述现有技术，提出一种大数据实时存储方法，现实大数据采集中的数据实时高速存储。

技术方案：一种大数据实时存储方法，所述方法基于的硬件包括超高速数字输入输出卡、高速硬盘以及安装有操作系统的处理器；所述方法包括如下具体步骤：

步骤1：初始化高速数字输入输出卡，并设置其工作模式；

步骤2：设置连续多缓存模式，所述微处理器的缓冲单元中设置两个连续的缓冲区域；

步骤3：根据采集端的触发器触发硬件系统进行工作，控制将数据首先存入所述两个连续的缓冲区域中的第一缓冲区域；

步骤4：判断第一缓冲区域是否已满，若第一缓冲区域已满则控制将数据开始缓存到第二缓存区域，否则继续存储到所述第一缓冲区域；

步骤5：在数据缓存到第二缓冲区域时，控制将所述第一缓冲区域中的数据存储到所述高速硬盘中；

步骤6：判断第二缓冲区域是否已满，若第二缓冲区域已满则将数据从第一缓冲区域开头进行覆盖缓存；在数据缓存到第一缓冲区域时，控制将所述第二缓冲区域中的数据存储到所述高速硬盘中；

步骤7：当所述第一缓冲区域存存满数据后，再次控制将数据从第二缓冲区域开头进行覆盖缓存；

步骤8：重复步骤4到步骤7。

进一步的，还包括休眠控制步骤，当检测到采集终端持续阈值时间未写入数据到所述第一缓冲区域和第二缓冲区域时，控制所述微处理器释放缓冲单元。

有益效果：本发明的一种大数据实时存储方法，为了实现大数据的实时高速存储，通过高速数字输入输出卡配合连续双缓冲单元以及高速硬盘，实现在较小内存硬件条件下不间断的数据存储。

具体实施方式

下面对本发明做更进一步的解释。

一种大数据实时存储方法，所述方法基于的硬件包括超高速数字输入输出卡、高速硬盘以及安装有操作系统的处理器。所述方法包括如下具体步骤：