[发明专利]一种基于内存数据的分析处理方法

说明书

本发明公开了一种基于内存数据的分析处理方法，包括以下步骤：S1获取待分析处理数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，并对所述待分析处理数据进行抽样处理，得到抽样数据；S11将内存数据中的原始数据导入；S12将内存数据中的原始数据抽取到临时中间层后进行清洗、转换、集成和加载；S13将经过处理后的数据进行数据透视和数据分析得到各个数据种类对应的数据图形；S2将抽样数据进行分割并行处理，得到分割处理结果。本发明实现对待分析数据的不同需求的分解和提取，提高了数据分析的通用性，同时，提高了工作效率和数据的安全性。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种基于内存数据的分析处理方法。

背景技术

随着云计算时代的来临，“大数据”这一新兴词汇也吸引了越来越多的关注；所谓大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合；大数据的意义并不单纯的指掌握巨大的数据信息，而在于如何提取大量数据所包含的关键信息，即如何对大数据进行处理分析；当然对海量数据进行分布式数据挖掘，必须依托于云计算的分布式处理、分布式数据库和云存储、虚拟化技术等。

互联网飞速发展，信息化数据急剧膨胀，海量数据的分析处理所面临的难题也越来越多；此外，云计算平台的不断发展也为数据的处理分析带来新的挑战和机遇，传统的数据分析方法也越来越无法满足要求；大数据作为一种新兴的产业，其获取利益的关键就在于通过对数据的“加工”实现数据的“增值”，“加工”的速率必然决定利益“增值”的空间，所以如何快速对海量数据进行查询分析变的尤为重要。

传统的数据分析平台对数据的分析处理不具有实时性，这是因为传统的数据计算框架存在必须读取存储的缺点，在数据量过大时往往处理缓慢，导致大量的延迟；而新的计算框架基于内存计算的方法，不仅继承传统计算框架分布式的处理框架，能自动优化计算过程等，而且弥补了传统计算框架不具有实时性的缺点，使得数据处理速度极大提升；因此我们需要一种基于内存数据的分析处理方法，从而使大数据处理更加快捷方便。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于内存数据的分析处理方法。

本发明提出的一种基于内存数据的分析处理方法，包括以下步骤：

S1获取待分析处理数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，并对所述待分析处理数据进行抽样处理，得到抽样数据；

S11将内存数据中的原始数据导入；

S12将内存数据中的原始数据抽取到临时中间层后进行清洗、转换、集成和加载；

S13将经过处理后的数据进行数据透视和数据分析得到各个数据种类对应的数据图形；

S2将抽样数据进行分割并行处理，得到分割处理结果；

S21将抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果。

S3根据所述数据段分解正则表达式对处理后的待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；

S4根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息；

S5获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；

S6运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改，得到数据分析结果。