[发明专利]基于区块链的Hadoop集群大数据访问方法及系统

说明书

本发明属于大数据访问领域，提供了一种基于区块链的Hadoop集群大数据访问方法及系统。其中，基于区块链的Hadoop集群大数据访问方法包括接收客户端发送来的认证请求，认证成功后生成用户标签；根据用户标签中的访问目的，通过区块链中的智能合约为用户分配角色；将分布式Namenode服务器作为区块链的记账节点，接收Datanode服务器通过心跳机制定期反馈的Datanode服务器本身状态信息和用户的访问行为；各个记账节点内的用户的访问行为通过共识机制保持一致；根据用户的访问行为并基于信息熵计算用户的访问风险值，再与设定访问风险阈值比较，判断是否修正用户角色，根据修正后的用户角色来访问Datanode服务器中的数据，实现对用户访问控制权限的管理。

技术领域

本发明属于区块链数据访问领域，尤其涉及一种基于区块链的Hadoop集群大数据访问方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着计算机技术和互联网的飞速发展，数据信息技术也不断普及，每时每刻在网络、移动智能终端、物联网终端以及医疗科研等领域都会产生大量的数据，大数据的概念由此而生。大数据具有大量、高速、多样、低价值密度、真实性五大特点，其规模之庞大远远超过了单台计算机的存储和处理能力。为了解决海量数据的存储和分析问题，Apache开发了Hadoop—一个开源分布式计算平台。Hadoop以分布式文件系统(HDFS)和MapReduce分布式计算框架为核心，提供了底层细节透明的分布式基础设施。HDFS通过分布式集群存储文件，确保海量数据的存储，而MapReduce保证了海量数据的高效计算。

随着越来越多的用户、应用程序访问Hadoop集群，集群的安全问题就显得极其重要，但是目前Hadoop在安全方面有待完善。Hadoop常见的安全问题有：用户及其权限管理复杂、缺少可靠的权限管理机制和服务器单点失效等。发明人发现，虽然目前Hadoop普遍采用Kerberos的身份认证机制，对访问Hadoop的用户进行身份验证，但用户通过身份验证之后，不再对其进行监管，这就导致了无法对合法用户的非法操作管控，恶意用户一旦通过验证，就可以使用身份伪装的方式任意读取集群中的数据，从而导致数据的丢失和隐私的泄露。

发明内容

为了解决上述问题，本发明的第一个方面提供一种基于区块链的Hadoop集群大数据访问方法，其将用户在Namenode和Datanode之间的操作行为记录上链，区块链中各个成员共同监督，能够防止非法用户恶意访问集群。

为了实现上述目的，本发明采用如下技术方案：

一种基于区块链的Hadoop集群大数据访问方法，包括：

接收用户端发送来的认证请求，认证成功后生成用户标签；

根据用户标签中的访问目的，通过区块链中的智能合约为用户分配角色；

将分布式Namenode服务器作为区块链的记账节点，并接收Datanode服务器通过心跳机制定期反馈的Datanode服务器本身状态信息和用户的访问行为；

根据用户的访问行为并基于信息熵计算用户的访问风险值，再与设定访问风险阈值比较，判断是否修正用户角色，根据修正后的用户角色来访问Datanode服务器中的数据，实现对用户访问控制权限的管理。

为了解决上述问题，本发明的第二个方面提供一种基于区块链的Hadoop集群大数据访问系统，其将用户在Namenode和Datanode之间的操作行为记录上链，区块链中各个成员共同监督，能够防止非法用户恶意访问集群。

为了实现上述目的，本发明采用如下技术方案：

一种基于区块链的Hadoop集群大数据访问系统，包括：

认证模块，其用于接收用户端发送来的认证请求，认证成功后生成用户标签；