[发明专利]基于内存数据网格的数据处理方法

说明书

本发明公开了基于内存数据网格的数据处理方法，涉及计算机技术领域；为了解决因数据量巨大导致数据处理负载压力过大问题；具体包括如下步骤：确定待处理数据的数据量；将数据库中待处理数据加载至内存数据网格中；建立待处理的数据分组模型，对内存数据结构进行配置，将内存数据网格中的待处理数据划分为若干个数据队列；针对不同类型数据的字符串长度选择对应的数据分组模型；采用列式存储管理方法针对不同的数据类型进行内存管理。本发明可以得到时间稳定度最小时所对应的待处理数据的划分队列的结果，从而对待处理数据实现智能划分，且划分后时间稳定度最小，从而使得数据处理时间短，且每个数据处理节点都比较稳定。

技术领域

本发明涉及计算机技术领域，尤其涉及基于内存数据网格的数据处理方法。

背景技术

内存数据网格IMDG是一种面向广域网上内存资源共享的新型网格系统，它的主要目标是在物理内存不足的情况下，提高内存密集型应用或IO密集型应用的系统性能，内存数据网格被视为处理迅速、多样和大数据量的大数据的一种方式，将数据存储到内存中，并使其分布到多个服务器上，该方法的目的是更容易获取数据、改进其可扩展性和更好地进行数据分析。

经检索，中国专利申请号为CN201910203571.8的专利，公开了一种用于内存数据库的数据处理方法及系统，包括基于哈希Hash索引技术将数据中的关键词直接映射为存储地址；根据事务所指示的数据操作请求创建新的版本行，并用时间戳标记事务和行版本实现无锁事务；根据预设的隔离级别对所述事务进行安全性验证。上述专利中的用于内存数据库的数据处理方法及系统存在以下不足：对较大数据量的数据进行处理时,有可能因数据量巨大导致数据处理负载压力过大，影响正常的数据处理。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的基于内存数据网格的数据处理方法。

为了实现上述目的，本发明采用了如下技术方案：

基于内存数据网格的数据处理方法，包括如下步骤：

S1：确定待处理数据的数据量；

S2：将数据库中待处理数据加载至内存数据网格中；

S3：建立待处理的数据分组模型，对内存数据结构进行配置，将内存数据网格中的待处理数据划分为若干个数据队列；

S4：针对不同类型数据的字符串长度选择对应的数据分组模型；

S5：采用列式存储管理方法针对不同的数据类型进行内存管理；

S6：将数据队列向内存数据网格中不同的数据处理节点传输，以使不同的数据处理节点对数据队列进行数据处理，得到处理结果，并将处理结果向内存数据网格传输；

S7：将内存数据网格中不同的数据处理节点传输的处理结果进行整合，获取数据队列处理结果。

优选地：所述S2中将数据库中待处理的数据加载至内存数据网格中，待处理的数据在数据处理之前一次性地全部加载至内存数据网格中。

优选地：所述S3中具体包括如下步骤：

S11：建立数据分组模型；

S12：获取的待处理数据的存储信息、存储类型和加密类型；

S13：根据S12步骤获取待处理数据的关联度信息。

优选地：所述待处理数据的存储信息包括待处理数据所占存储空间的大小、待处理数据的存储时间以及待处理数据的存储路径中的一种或多种。

优选地：所述待处理数据的存储类型包括字符型、数值型、文本类型以及视频类型中的一种或多种。

优选地：所述待处理数据的加密类型包括非对称加密算法、数字签名算法以及md5加密算法中的一种或多种。