[发明专利]一种大数据处理方法、处理装置、设备及介质

说明书

本申请涉及一种大数据处理方法、处理装置、设备及介质。该方法包括，获取待处理的数据并预处理成预设的格式和/或大小的计算单元，将处理完成的数据块存入显存模块，基于GPU阵列调用显存模块中的计算单元，并基于GPU阵列与CPU并行计算的方式批量的进行第一回数据处理，基于F分布的模型筛选第一回数据处理后的数据，以祛除不需要的数据并将其输出，筛选剩余的数据再次存入到显存模块，通过设定的函数打点式的呈现。该方法基于GPU和CPU并行方法进行计算，计算完成的数据则通过设定的函数进行打点式的呈现。该方法实现极快的数据处理能力，达到了边处理数据边呈现的效果，提高了用户体验。

技术领域

本发明涉及计算机数据处理领域，具体的涉及一种商务大数据处理方法、处理装置、设备及介质。

背景技术

伴随着互联网与信息技术不断发展，系统数据量不断增大，数据分析越来越复杂。如何从海量数据中挖掘出有价值的数据信息，辅助科学决策、促进社会经济发展，成为政府行政服务能力一项新考验。商贸流通数据分散在相关地市商务局的各个原有部门，无统一的储存方式和标准，存在”数据散、统计困难、数据展示不直观、数据利用率不高”等问题,需要将分散、异构、多源的数据进行归集处理。市面上对该数据处理的算法，绝大部分基于CPU运算的方式，一些较为快速的算法也只是采用到了CPU算法的并发算法，没有达到高性能运算质的飞跃，某些高端领域会采用CUDA高性能运算，该类算法存在一个显示缓慢的问题。

因此，需要一种新的针对商贸流通领域大数据的算法来提高运算速率且改善显示缓慢的问题。

发明内容

鉴于此，为解决上述的问题，本申请提出一种商务大数据信息统计分析的方法，该方法运算速率快且实现了极快的显示运算的结果。

为实现上述目的，本申请采用如下的技术方案：

一种大数据处理方法，其特征在于，所述方法包括：

获取待处理的数据并预处理成预设的格式和/或大小的计算单元，

将处理完成的数据块存入显存模块，

基于GPU阵列调用显存模块中的计算单元，并基于GPU阵列与CPU并行计算的方式批量的进行第一回数据处理，

基于F分布的模型筛选第一回数据处理后的数据，以祛除不需要的数据并将其输出，筛选剩余的数据再次存入到显存模块，通过设定的函数打点式的呈现。

在一实施方式中，该筛选剩余的数据再次存入到显存模块，

基于GPU阵列调用显存模块中的计算单元，并基于GPU阵列与CPU并行计算的方式再次计算，直至结算完成，并通过设定的函数打点式的呈现。

在一实施方式中，该预处理包括对获取的数据进行每行数据处理。

在一实施方式中，该预处理如下基于神经网络算法将数据转换成预设格式和/或大小的数据块，

其中，x₁代表输入的数据单元；w^T表示对应数据的权重；b为偏执单元匹配对应数据单元x₁，h_j代表根据公式计算输入的数据单元x₁之后得到的系统数据；a_i代表通过神经网络算法的公式计算后得到的隐藏层数据。

在一实施方式中，该批量的快速计算数据总数后，基于：

及

进行拆分数据行，