[发明专利]一种可灵活配置的数据全过程处理方法

说明书

本发明提供了一种可灵活配置的数据全过程处理方法，首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。解决了现有技术中数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，实现了较灵活、相对快速且简单的数据处理。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种可灵活配置的数据全过程处理方法。

背景技术

随着科技的进步以及业务系统的复杂化，各行业领域产生的数据量越来越大，进而对数据处理的要求越来越高，针对不同领域的不同数据有许多梳理方法，例如分类、回归、聚类、相似匹配、频繁项集、统计描述、链接预测、数据压缩、因果分析、图解法等，在王宗友等的公开号为“CN113255014A”“一种基于区块链的数据处理方法以及相关设备”中利用区块链进行数据处理，降低区块链权限管理难度，同时提高网络安全性。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂。

发明内容

本申请实施例通过提供一种可灵活配置的数据全过程处理方法，解决了现有技术中数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，实现了较灵活、相对快速且简单的数据处理。

本发明的技术方案如下：

一种可灵活配置的数据全过程处理方法，首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。

优选的，所述方法包括以下步骤：

S1.首先对所需处理数据根据数据类型进行分类采集，并将采集到的数据信息转换成能被接收处理的形式；

S2.对接收到的数据进行预处理，得到预处理后的变换数据矩阵集合，为接下来精准处理做准备；

S3.最后，通过构造权重数学模型对预处理后数据矩阵集合进行清洗去噪，并将所得数据矩阵集合中矩阵逐个进行矩阵分解以及特征提取处理，最后得到数据输出。

优选的，所述步骤S2具体包括：

将采集到的数据用集合表示，其中，表示第i个数据，N表示数据个数；

对集合进行分组编码，即按顺序对集合根据交织准则构造矩阵，可表示为：

其中，m，n为分组编码后矩阵D的行数与列数，且N = m╳n。

优选的，所述步骤S2具体包括：

通过引入权重因子ofo对重构的矩阵D进行加权运算处理，得到加权运算后的矩阵，从矩阵的性质出发获得更有研究价值的矩阵，为数据处理的准确性全面性提供依据。

优选的，所述步骤S3具体包括：

根据用户具体需求，通过构造权重数学模型，从预处理后的数据矩阵集合J中筛选出最为满足需求的数据矩阵；

构建权重数学模型为：

其中，A表示为用户对数据要求的所有可能数据矩阵，，B表示为用户对数据要求矩阵的权重，C表示为用户对数据要求矩阵的权重的评分，表示为模型输出矩阵集合。