[发明专利]基于Spark和区块链的数据处理系统

说明书

本发明公开了一种基于Spark和区块链的数据处理系统，属于区块链技术领域。由数据上传模块、中枢数据模块、数据处理模块、数据应用模块组成。系统架构建立在区块链上，数据上传模块、数据处理模块皆为区块链的一个子节点；数据上传模块用于将原始数据上传到中枢数据模块；数据处理模块采用基于Spark平台的机器学习算法，用于训练中枢数据模块中的原始数据以得到训练后的数据B，并将B返回至中枢数据模块；数据应用模块用于从中枢数据模块中取得B并应用；中枢数据模块用于存储原始数据以及处理后的数据，并接受数据上传模块、数据处理模块、以及数据应用模块的调用。本发明具有深度挖掘数据价值的功能。

技术领域

本发明属于区块链技术领域、计算机网络通信领域、大数据分析领域，可应用于任何区块链数据应用领域。

背景技术

Spark是加州伯克利分校AMPLab实验室于2009年提出的MapReduce分布式计算的替代方案，是一个新的分布式计算框架，从设计开始便注重对低延迟任务的优化，并将中间数据和结果保存在内存中。Spark目前自带的一个分布式机器学习和数据挖掘工具包MLlib，本发明中将会用到该工具包中的多种工具，其中包括：机器学习算法，例如分类、聚类、协同过滤算法等；特征化：特征提取、转换、降维和选择等；实用程序：线性代数、统计、数据处理等。

区块链是由网络中各节点共同维护的分布式数据库系统，其去中心化特点保证区块链可以安全地存储交易或其他数据，由于区块链本身的特点，也可保证数据一旦入链后不可篡改和伪造，最大化地保证了数据的安全性，也让数据具有了可追溯性。区块链的去中心化，无需任何中心化机构的维护，使得该技术大大地降低了现实经济、社会活动的信任成本，提高了效率。当前，各行各业都开始关注这一项技术，积极探索并利用该技术存储交易数据、债权、版权等信息，促进行业创新发展。

根据区块链的去中心化和数据不可篡改性以及可追溯性，区块链已应用于多个领域。科技领域、能源领域、食品溯源领域、医疗领域、数字产品版权领域等。在食品溯源领域中已开发多个应用，用户可以通过扫描产品包装上二维码得知食品溯源信息、生产信息、物流信息等诸多相关信息。在数字产品版权领域，用户可以与创作者直接形成点对点交易，既保证了用户所购买产品的质量，又保护了创作者的直接利益，鼓励原创，同时抑制了近年来盗版产品的猖獗。以上可以看到区块链技术确实给我们的生活带来了很多便利，解决了交易间最不好控制的信任问题，但是随着如今区块链应用的使用者越来越多，区块链中存储的相应数据也随之变多。数据的爆炸式增长，急需功能强大和通用的工具，以便从这些海量数据中发现有价值的信息，把这些数据转化成有组织的知识。

发明内容

本发明为了解决现有区块链存在的，缺乏从海量数据中发现有价值信息，并把这些信息转化成有组织的知识的问题，将机器学习算法挖掘数据的能力应用于区块链中，使得区块链中的数据可以被再次利用，为用户带来更多的价值与知识，同时优化了区块链应用的用户体验。具体实现方式如下：

基于Spark和区块链的数据处理系统，

整个系统由数据上传模块、数据处理模块、中枢数据模块、数据应用模块这四个部分组成；整个系统架构建立在区块链上，数据上传模块、数据处理模块皆为区块链的一个子节点，各个子节点各司其职，完成自己任务的同时与其他节点实时通信，提高了区块链数据处理系统的效率。由于中枢数据模块存储了该系统所有数据，并需要与其他各个模块连接以完成数据的流通，所以中枢数据模块为整个系统的核心；

所述的数据上传模块用于将原始数据A上传到中枢数据模块，包括原始数据A的上传接口文件，其中上传接口文件通过web3接口调用智能合约中的数据上传函数完成数据的上传；

所述的数据处理模块采用基于Spark平台的机器学习算法，用于训练中枢数据模块中的原始数据A以得到训练后的数据B，并将B返回至中枢数据模块；具体包括取数据的接口文件、spark数据训练模块、上传处理后数据B的接口文件，