[发明专利]基于机器学习的数据处理方法及装置

权利要求书

1.一种基于机器学习的数据处理方法，其特征在于，包括：

从区块链网络的不同区块节点中获取待进行分组处理的目标数据；

基于所述目标数据携带的数据字段标识，以及预设的数据字段分类标识对所述目标数据信息分类筛选；

提取分类筛选后未与所述预设的数据字段分类标识匹配的异常目标数据，并依据所述异常目标数据中的数据格式特征进行格式转换处理；

若基于格式转换处理的所述异常目标数据的数据字段标识再次进行分类筛选后，未与所述预设的数据字段分类标识匹配，则基于未匹配的所述异常目标数据中的基础数据生成异常目标数据数组进行保存；

其中，所述依据所述异常目标数据中的数据格式特征进行格式转换处理之前，所述方法还包括：

配置用于格式转换的格式转换对象与数据格式特征匹配的格式转换映射关系，其中，所述格式转换对象包括格式转换函数、格式转换模型；

获取所述格式转换对象的数据训练集，其中，所述数据训练集包含有与所述预设的数据字段分类标识匹配的正常目标数据；

基于所述数据训练集中的正常目标数据对所述格式转换对象的转换参数进行迭代调整，完成所述格式转换对象的配置；

所述依据所述异常目标数据中的数据格式特征进行格式转换处理包括：

依据所述格式转换映射关系，提取与所述异常目标数据中的数据格式特征匹配的格式转换对象；

基于所述格式转换对象对所述异常目标数据进行格式转换处理。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据携带的数据字段标识，以及预设的数据字段分类标识对所述目标数据信息分类筛选包括：

解析所述数据字段标识对应的字段属性，所述字段属性包括日期、年龄、性别、流量数据；

按照所述字段属性确定所述目标数据的数据类型、数据长度；

按照预设的数据字段分类标识中已完成分类的数据类型、数据长度，对所述目标数据进行分类筛选，得到与所述预设的数据字段分类标识匹配的正常目标数据、以及与所述预设的数据字段分类标识不匹配的异常目标数据。

3.根据权利要求1所述的方法，其特征在于，所述基于未匹配的所述异常目标数据中的基础数据生成异常目标数据数组进行保存包括：

获取标准分组器中待进行分组处理的分组类型；

按照所述分组类型对所述异常目标数据的基础数据进行标记分类；

基于不同标记的基础数据生成异常目标数据数组，与所述正常目标数据进行匹配存储。

4.根据权利要求3所述的方法，其特征在于，所述基于未匹配的所述异常目标数据中的基础数据生成异常目标数据数组，进行保存之后，所述方法还包括：

按照预设时间间隔统计异常目标数据数组中依据基础数据进行标记分类的标记个数；

若所述标记个数大于预设更新标记个数，则加载格式转换配置文件，以基于所述格式转换配置文件中更新的格式转换对象对异常目标数据进行格式转换处理。

5.根据权利要求1所述的方法，其特征在于，所述基于未匹配的所述异常目标数据中的基础数据生成异常目标数据数组，进行保存之后，所述方法还包括：

若接收到格式转换处理执行切换指令时，记录对所述异常目标数据进行格式转换处理操作的转换步骤信息；

依据所述转换步骤信息从格式转换对象预备集中选取格式转换对象；

基于所述转换步骤信息对选取的格式转换对象的转换参数进行迭代调整；

将调整后的格式转换对象结合数据格式特征更新至格式转换映射关系中。

6.根据权利要求1所述的方法，其特征在于，所述基于未匹配的所述异常目标数据中的基础数据生成异常目标数据数组，进行保存之后，所述方法还包括：

将完成格式转换处理的目标数据输送至标准分组器中，以使所述标准分组器进行流量分组；

将分组后的目标数据以及所述异常目标数据数组绑定进行反馈，以指示对分组后的目标数据以及绑定的所述异常目标数据进行处理。