[发明专利]基于Spark和区块链的数据处理系统

摘要

本发明公开了一种基于Spark和区块链的数据处理系统，属于区块链技术领域。由数据上传模块、中枢数据模块、数据处理模块、数据应用模块组成。系统架构建立在区块链上，数据上传模块、数据处理模块皆为区块链的一个子节点；数据上传模块用于将原始数据上传到中枢数据模块；数据处理模块采用基于Spark平台的机器学习算法，用于训练中枢数据模块中的原始数据以得到训练后的数据B，并将B返回至中枢数据模块；数据应用模块用于从中枢数据模块中取得B并应用；中枢数据模块用于存储原始数据以及处理后的数据，并接受数据上传模块、数据处理模块、以及数据应用模块的调用。本发明具有深度挖掘数据价值的功能。

主权项

1.基于Spark和区块链的数据处理系统，其特征在于：整个系统由数据上传模块、数据处理模块、中枢数据模块、数据应用模块这四个部分组成；整个系统架构建立在区块链上，数据上传模块、数据处理模块皆为区块链的一个子节点，中枢数据模块存储该系统所有数据，并与其他各个模块连接以完成数据的流通，中枢数据模块为整个系统的核心；所述的数据上传模块用于将原始数据A上传到中枢数据模块，包括原始数据A的上传接口文件，其中上传接口文件通过web3接口调用智能合约中的数据上传函数完成数据的上传；所述的数据处理模块采用基于Spark平台的机器学习算法，用于训练中枢数据模块中的原始数据A以得到训练后的数据B，并将B返回至中枢数据模块；具体包括取数据的接口文件、spark数据训练模块、上传处理后数据B的接口文件，其中取数据的接口文件用于从中枢数据模块获得原始数据A并传给spark数据训练模块，取数据的接口文件通过web3接口调用智能合约中的数据下载函数实现数据下载功能；其中spark数据训练模块包括数据处理、训练模型、使用模型三部分，数据处理用于对原始数据A进行标准化，然后对选择的模型进行训练，接下来使用训练好的模型对标准化后的数据进行训练并得到数据B；其中上传处理后数据B的接口文件用于将数据B上传至中枢数据模块，该文件所包括信息及所实现功能与数据上传模块中的上传接口文件相同；所述的数据应用模块用于从中枢数据模块中取得B并应用；所述的中枢数据模块用于存储原始数据以及处理后的数据，并接受数据上传模块、数据处理模块、以及数据应用模块的调用，具体包括区块链数据系统和智能合约，其中区块链数据系统用于存储数据A、B，其中智能合约用于实现数据上传功能、数据下载功能，包括规定数据结构的结构体、数据上传函数、数据下载函数。