[发明专利]数据预处理系统、方法、计算机设备及可读存储介质

权利要求书

1.一种数据预处理方法，其特征在于，所述方法包括：

将收集到数据标准化以形成标准化训练数据及标准化测试数据；

将所述标准化训练数据及所述标准化测试数据存储在本地节点；

通过所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；

将训练完成的自动机器学习模型的表达式写入智能合约；

通过智能合约将所述模型参数同步至区块链节点；

读取所述本地节点的标准化测试数据；

调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。

2.如权利要求1的数据预处理方法，其特征在于，所述调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理的步骤，具体包括：

判断所述标准化测试数据是否有数据缺失；

若所述标准化测试数据有缺失，补全缺失数据；

将处理后的标准化测试数据同步至所述区块链节点。

3.如权利要求1的数据预处理方法，其特征在于，所述通过标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数的步骤，包括：

将所述标准化训练数据同步至区块链节点；

利用存储在所述区块链节点的标准化训练数据训练所述自动机器学习模型以生成训练完成的自动机器学习模型及模型参数。

4.如权利要求1的数据预处理方法，其特征在于，还包括如下步骤：

存储所述训练完成的自动机器学习模型及模型参数至所述本地节点。

5.一种数据预处理系统，其特征在于，所述系统包括：

收集模块，用于收集外部采集设备采集到的数据，还用于将收集到的数据标准化以形成标准化训练数据及标准化测试数据并存储在本地节点；

自动机器学习模块，用于利用所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；

区块链模块，用于将所述训练完成的自动机器学习模型的表达式写入智能合约，通过所述智能合约将所述模型参数同步至区块链节点，还用于读取所述本地节点的标准化测试数据并调用写入所述训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。

6.如权利要求5的数据预处理系统，其特征在于，所述区块链模块还用于：

通过所述写入所述训练完成的自动机器学习模型的表达式的智能合约判断所述标准化测试数据是否有数据缺失，若有数据缺失，补全缺失数据；

将处理后的标准化测试数据同步至所述区块链节点。

7.如权利要求5的数据预处理系统，其特征在于，

所述区块链模块，还用于将标准化训练数据同步至所述区块链节点；

所述自动机器学习模块，还利用存储在所述区块链节点的标准化训练数据训练所述自动机器学习模型。

8.如权利要求5的数据预处理系统，其特征在于，

所述收集模块，还用于通过所述本地节点存储所述训练完成的自动机器学习模型及所述模型参数。

9.一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如权利要求1-5任意一项的数据预处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现如权利要求1-5任意一项的数据预处理方法的步骤。