[发明专利]一种基于大数据技术的数据分析方法管理系统

说明书

本发明公开了一种基于大数据技术的数据分析方法管理系统，包括数据预处理层，所述大数据安全管理平台包括数据预处理层，所述数据预处理层的预处理方法包括数据清理、数据集成、数据变换和数据规约，所述数据预处理层的内容包括数据审核、数据筛选和数据排序。该管理系统数据源的来源包括社交网络、电商系统、搜索引擎等方面，形式可以是数字、文字、图片、语音、视频等数据，通过数据源审计层和日志采集层的安全分类、过滤以及归并整理后进行预处理，数据预处理层通过数据清理、数据集成、数据变换和数据规约的方法实现数据审核、数据筛选和数据排序，提高数据的质量、真实性以及完整性。

技术领域

本发明涉及大数据分析技术领域，具体为一种基于大数据技术的数据分析方法管理系统。

背景技术

大数据技术的核心就是大数据分析，一般地，人们将大数据分析定义为一组能够高效存储和处理海量数据、并有效达成多种分析目标的工具及技术的集合；

例如公告号为CN112632156A的中国授权专利(一种基于大数据的计算机数据分析管理系统)：包括数据采集模块，用于根据用户录入的数据采集计划，定时运行对应的数据挖掘模型实现目标数据的采集；数据预处理模块，用于根据用户录入的数据分析规则，运行对应的数据预处理模型实现目标数据的预处理；数据分析模块，用于根据用户录入的数据分析目标，运行对应的数据分析模型实现目标数据的分析，并获取到对应的分析报表。本发明可以根据数据采集计划，自动运行对应的数据挖掘模型、数据预处理模型和数据分析模块依次完成大数据的采集、预处理和分析工作，无需人为进行计算机程序的调整，实现了大数据的连续采集和自主分析；

上述现有技术虽然能够实现大数据的连续采集和自主分析，但是，整体分析管理系统不够全面，适用范围较小。

发明内容

本发明的目的在于提供一种基于大数据技术的数据分析方法管理系统，以解决上述背景技术中提出的现有的分析管理系统不够全面，适用范围较小的问题。

为实现上述目的，本发明提供如下技术方案：一种基于大数据技术的数据分析方法管理系统，包括：大数据安全管理平台；

数据预处理层，所述大数据安全管理平台包括数据预处理层，所述数据预处理层的预处理方法包括数据清理、数据集成、数据变换和数据规约，所述数据预处理层的内容包括数据审核、数据筛选和数据排序；

数据存储层，所述大数据安全管理平台包括数据存储层，所述数据存储层包括大数据存储方式和大数据存储技术路线；

数据分析挖掘层，所述大数据安全管理平台包括数据分析挖掘层，所述数据分析挖掘层包括实施数据分析和历史数据分析，所述数据分析挖掘层的计算分析框架包括批处理框架、流处理框架、交互式计算框架、混合处理框架和图数据处理框架；

数据结果应用层，所述大数据安全管理平台包括数据结果应用层，所述数据结果应用层包括医疗领域、教育领域、商业领域、工农业领域和交通领域。

优选的，所述大数据存储方式包括分布式系统、NoSQL数据库和云数据库。

优选的，所述大数据存储技术路线包括分布式架构、大数据一体机和MPP混合架构。

优选的，所述大数据安全管理平台包括数据生产和获取层。

优选的，所述大数据安全管理平台包括数据源审计层。

优选的，所述大数据安全管理平台包括日志采集层。

优选的，所述大数据安全管理平台的层级从下到上依次为数据生产和获取层、数据源审计层、日志采集层、数据预处理层、数据存储层、数据分析挖掘层和数据结果应用层。

优选的，所述数据源审计层包括软硬件基础设施，所述软硬件基础设施包括服务器、网络设备、安防设备、数据库和中间件。