[发明专利]一种用于计算机大数据的高效批量处理方法

说明书

本发明公开了一种用于计算机大数据的高效批量处理方法，涉及数据处理技术领域。本发明包括步骤一：通过数据采集系统采集用户数据，将采集到的文本、音频、视频以及图片数据导入至大型的分布式数据库中并进行备份源数据；步骤二：对采集到的数据通过数据分类模块进行分类；步骤三：对分类后的数据进行数据预处理，消除异常数据。本发明通过多个处理器同时处理分类好的数据，且某一个处理器处理完毕后，立刻协助处理其他未完成的处理器，多个处理器相互配合，从而达到一个高效的大数据处理效果，通过系统自身不断的改进优化，得到适合该用户的最优大数据模型，大数据处理能更加精确，解决了现有的大数据批量处理效率低，且处理准确度不高的问题。

技术领域

本发明属于数据处理技术领域，特别是涉及一种用于计算机大数据的高效批量处理方法。

背景技术

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，随着云时代的来临，大数据也吸引了越来越多的关注，大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值，批处理是目前大数据分析中对于数据处理的一种基本方法，所谓批处理也称为批处理脚本，是对某对象进行批量的处理，其目的是为了提高系统吞吐量和资源的利用率，目前的大数据批处理，是通过将大数据分批次在同一服务器上依次进行处理，当某一批次的数据处理完成后，另一批次的数据才能被处理，使得部分数据长时间处于等待处理的状态，影响了大数据的批处理进度，从而使大数据的批处理效率较低，大数据作为新的战略资源，在信息领域发挥着重要作用，大数据的检索规模往往达到十亿甚至百亿级，导致传统的查询机制效率低下成为常态，因此，提高大数据的查询效率，降低查询负担成为大数据研究的重要方面，因此有必要对现有技术进行改进，以解决上述问题。

发明内容

本发明的目的在于提供一种用于计算机大数据的高效批量处理方法，通过多个处理器同时处理分类好的数据，且某一个处理器处理完毕后，立刻协助处理其他未完成的处理器，多个处理器相互配合，从而达到一个高效的大数据处理效果，通过系统自身不断的改进优化，得到适合该用户的最优大数据模型，大数据处理能更加精确，解决了现有的大数据批量处理效率低，且处理准确度不理想的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种用于计算机大数据的高效批量处理方法，所述方法包括以下步骤：

步骤一：通过数据采集系统采集用户数据，将采集到的文本、音频、视频以及图片数据导入至大型的分布式数据库中并进行备份源数据，分布式存储提高存储效率，进而提高大数据的处理效率；

步骤二：对采集到的数据通过数据分类模块进行分类；

步骤三：对分类后的数据进行数据预处理，消除异常数据，并收集异常数据；

步骤四：通过处理模块对正常数据进行批量处理，将预处理好的数据通过各自的处理器进行处理，处理器处理时基于数据类型选择合适的大数据模型并调用，利用数据对模型进行计算，对模型参数优化和调整，优化完成后，通过优化后的若干个大数据模型对正常数据进行处理，当某一个处理器完成数据处理后，通过进度检测模块检测其他处理器的处理进度，然后使已完成处理任务的处理器协助处理进度最慢的处理器工作，同样的，当第二个处理器完成数据处理后，通过进度检测模块检测其他处理器的处理进度，然后使已完成处理任务的处理器协助处理进度最慢的处理器，直至所有数据处理完毕；

步骤五：在对正常数据处理的同时对异常数据亦进行处理，处理方式同步骤四；

步骤六：处理好的正常数据和异常数据分布式存储在存储单元内，加密上传至云端，实现数据共享，并通过模型优化模块进一步对大数据模型进行优化，得到更加适合该用户数据的模型；