[发明专利]数据预处理系统、方法、计算机设备及可读存储介质

说明书

本发明公开了一种数据预处理方法，可以用于智能工厂等场景中。所述方法包括：将采集到数据标准化以形成标准化训练数据及标准化测试数据；将所述标准化训练数据及所述标准化测试数据存储在本地节点；通过所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；将训练完成的自动机器学习模型的表达式写入智能合约；通过智能合约将所述模型参数同步至区块链节点；读取所述本地节点的标准化测试数据；调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。本发明技术方案能够适应复杂场景，提高区块链的数据处理能力。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种数据预处理系统、方法、计算机设备及可读存储介质。

背景技术

随着科技的发展，人们开始区块链技术和机器学习应用与工业场景中。

在工业场景中，工业物联网中多源数据的完整性和有效性往往决定其应用场景的有效性。鉴于区块链本身的不可篡改特性，我们认为将区块链技术运用到工业场景中，则可以确保工业场景中的各个数据的有效性。然而在实际使用过程中，本发明人发现：由于各类数据在采集环境或传输环境均容易受到外界干扰，容易出现数据丢失现象。目前区块链技术中的基于简单规则的合约缺乏数据处理能力，对缺失数据可能无法及时发现和处理，无法保证数据的完整性和有效性。

为克服上述问题，我们代替使用了机器学习算法，其可以以数据预处理的方式通过拟合工业数据缺失值进行预测填充。但是这种数据预处理方式缺乏安全性，其在对数据防护的安全层面上存在不足，在数据处理的过程中由于硬件故障、断电、死机、人为的误操作、程序缺陷、病毒或黑客等造成的数据库损坏或数据丢失现象，且依赖于中心化数据库，使核心数据库服务器负载较大，并且存在信任问题。此外、由于工业数据属于多源异构数据，针对不同工业场景的机器学习算法可能完全不同，难以选择一个通用的机器学习算法适应不同工业场景。

发明内容

有鉴于此，本发明提出一种数据预方法，能够适应复杂场景，提高区块链的数据处理能力。

首先，为实现上述目的，本发明提出一种数据处理方法，所述方法包括：

将收集到数据标准化以形成标准化训练数据及标准化测试数据；

将所述标准化训练数据及所述标准化测试数据存储在本地节点；

通过所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；

将训练完成的自动机器学习模型的表达式写入智能合约；

通过智能合约将所述模型参数同步至区块链节点；

读取所述本地节点的标准化测试数据；

调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。

优选地，所述调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理的步骤，包括：

判断所述标准化测试数据是否有数据缺失；

若所述标准化测试数据有缺失，补全缺失数据；

将处理后的标准化测试数据同步至所述区块链节点。

优选地，所述通过标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数的步骤，包括：

将所述标准化训练数据同步至区块链节点；

利用存储在所述区块链节点的标准化训练数据训练所述自动机器学习模型以生成训练完成的自动机器学习模型及模型参数。

优选地，方法还包括如下步骤：存储所述训练完成的自动机器学习模型及模型参数至所述本地节点。