[发明专利]一种用于计算机大数据的高效批量处理方法

权利要求书

1.一种用于计算机大数据的高效批量处理方法，其特征在于：所述方法包括以下步骤：

步骤一：通过数据采集系统采集用户数据，将采集到的文本、音频、视频以及图片数据导入至大型的分布式数据库中并进行备份源数据；

步骤二：对采集到的数据通过数据分类模块进行分类；

步骤三：对分类后的数据进行数据预处理，消除异常数据，并收集异常数据；

步骤四：通过处理模块对正常数据进行批量处理，将预处理好的数据通过各自的处理器进行处理，处理器处理时基于数据类型选择合适的大数据模型并调用，利用数据对模型进行计算，对模型参数优化和调整，优化完成后，通过优化后的若干个大数据模型对正常数据进行处理，当某一个处理器完成数据处理后，通过进度检测模块检测其他处理器的处理进度，然后使已完成处理任务的处理器协助处理进度最慢的处理器工作，同样的，当第二个处理器完成数据处理后，通过进度检测模块检测其他处理器的处理进度，然后使已完成处理任务的处理器协助处理进度最慢的处理器，直至所有数据处理完毕；

步骤五：在对正常数据处理的同时对异常数据亦进行处理，处理方式同步骤四；

步骤六：处理好的正常数据和异常数据分布式存储在存储单元内，加密上传至云端，实现数据共享，并通过模型优化模块进一步对大数据模型进行优化，得到更加适合该用户数据的模型；

步骤七：对处理好的正常数据和异常数据分别进行可视化处理，得到相应的可视化的报表。

2.根据权利要求1所述的一种用于计算机大数据的高效批量处理方法，其特征在于，所述步骤一中数据采集系统具体的采集方法包括：通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据；通过网络爬虫或网站公开API等方式从网站上获取数据；通过导入历史数据库数据或对接第三方数据库数据。

3.根据权利要求1所述的一种用于计算机大数据的高效批量处理方法，其特征在于，所述步骤二中数据分类过程具体包括：按照类别属性将采集到的数据分成文本、音频、视频以及图片四类，然后依据数据类型选择不同的方法，如定序分类法、定距分类法或定比分类法将每一类的数据再分成若干个小类。

4.根据权利要求1所述的一种用于计算机大数据的高效批量处理方法，其特征在于，所述步骤三中数据预处理具体包括：基于统计模型估计缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来清理数据；通过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据处理的形式。

5.根据权利要求1所述的一种用于计算机大数据的高效批量处理方法，其特征在于，所述步骤六中大数据模型优化的具体步骤包括：评估模型，通过留出法、N拆交叉验证法或过拟合法对常用指标如AUC、KS、误差率、错误率等进行计算；优化模型，根据计算的常用指标数值调整模型、优化公式、优化算法，得到适合该用户的最优大数据模型。

6.根据权利要求1所述的一种用于计算机大数据的高效批量处理方法，其特征在于，所述步骤七中数据的可视化处理具体包括：处理好的数据根据数据的类型选择合适的图表并绘制成相应的二维或三维图形，所述二维图形包括柱状图、散点图、饼图、雷达图等动态交互的图形，所述三维图形包括3D航线图、3D散点图、3D柱图等3D动态图形，且该数据可视化处理过程亦可根据用户使用需求进行定制化的服务，如语音播报功能，处理好的数据经分析后得出最后的结论，并通过语音播报单元形成语音，以便用户收听。