[发明专利]一种访问大数据系统的方法及系统

说明书

技术领域

本发明涉及大数据安全领域，尤其涉及一种访问大数据系统的方法及系统。

背景技术

大数据和云计算在全球掀起研究热潮，在大力推广大数据和云计算的过程中，大数据安全成为首要攻克的关键。目前针对大数据系统的安全防护基本采用传统的方式：访问大数据系统使用SSH工具通过4A的堡垒机进行，数据安全依赖命令和金库的访问控制。然而，大数据系统存在多个访问途径。比如：除了SSH外，还可以通过大数据系统所提供的API访问。此时传统堡垒机方式对于API访问数据时无法起到防护作用。由此可见，现有技术在大数据安全防护方面存在技术漏洞，如何提高大数据的安全性值得深入探讨。

此外，针对大数据的日志记录存在信息不完整的情况，有些系统为了精简存储空间或者对业务的过分偏重，日志中往往缺少用户访问记录。事实上，该信息也属于大数据安全的重点保护内容，用户行为记录中包含了大量潜在信息，也能暴露一些系统存在的安全隐患，如何对用户行为记录进行有效利用也是大数据应用与研究中不可回避的问题。

对于大数据系统的安全防护，现有技术存在以下薄弱环节：现有的堡垒系统无法对用户通过API访问大数据系统进行访问控制；操作日志分布存储在大数据平台的各个服务器且缺乏足够的行为记录信息，使得大数据系统不能对其进行综合利用处理。

发明内容

为了克服上述问题，本发明提供一种访问大数据系统的方法及系统，来克服大数据系统中存在安全隐患的问题。

为了解决上述技术问题，本发明采用如下技术方案：

一方面，本发明提供了一种访问大数据系统的方法，包括：

检测是否通过应用程序编程接口API接收到应用方发来的对大数据系统的操作访问请求；

当接收到所述操作访问请求时，获取所述应用方提供的身份认证信息；

根据所述身份认证信息，按照预设置的身份认证规则，对所述应用方进行身份认证检测；

当所述应用方符合身份认证条件时，判断所述操作访问请求是否为具有权限的已授权请求；

当所述操作访问请求为具有权限的已授权请求时，将所述操作访问请求转发至所述大数据系统。

可选地，所述方法还包括：

当所述应用方不符合身份认证条件时，或，当所述操作访问请求为不具有权限的未授权请求时，通过所述API向所述应用方发出提醒消息。

可选地，所述将所述操作访问请求转发至所述大数据系统之前，所述方法还包括：

分析所述操作访问请求中的请求内容是否包含敏感数据；

当所述操作访问请求中的请求内容包含敏感数据时，按照预设置的敏感数据访问策略，判断是否能够对所述操作访问请求进行放行；

当判断能够放行时，将所述操作访问请求转发至所述大数据系统；

当判断不能够放行时，对所述操作访问请求进行阻断。

可选地，所述当接收到所述操作访问请求时，所述方法还包括：

对所述应用方发来的对大数据系统的操作访问进行日志记录；

所述日志中记录的内容包括：所述应用方信息、所述操作访问请求的执行信息、被访问的所述大数据系统信息、所述操作访问请求所请求的目标资源信息、所述API信息和所述操作访问请求的原始信息中的至少一项。

可选地，所述检测是否通过API接收到应用方发来的对大数据系统的操作访问请求之前，所述方法还包括：

通过所述API获取所述应用方的注册请求；

根据所述注册请求，向所述应用方分配与所述注册请求相对应的身份认证 标识及数据操作访问权限。

可选地，所述将所述操作访问请求转发至所述大数据系统之前，所述方法还包括：

判断所述操作访问请求使用的线程数量是否达到所述大数据系统中可提供的最大可使用线程数量；

当所述操作访问请求使用的线程数量未达到所述最大可使用线程数量时，将所述操作访问请求转发至所述大数据系统；

当所述操作访问请求使用的线程数量达到所述最大可使用线程数量时，将所述操作访问请求放入请求消息转发的等待队列。

可选地，当所述操作访问请求为数据写入操作请求时，所述将所述操作访问请求转发至所述大数据系统之前，所述方法还包括：

判断所述大数据系统为所述操作访问请求分配的存储配额是否已存满；

当所述大数据系统为所述操作访问请求分配的存储配额未存满时，将所述操作访问请求转发至所述大数据系统；