[发明专利]一种大数据加解密处理方法及系统

说明书

本申请实施例公开了一种大数据加解密处理方法及系统，包括：在数据存入开源存储系统之前，检测数据是否为明文数据；如果数据为明文数据，将所述数据加密为密文数据；将密文数据存入开源存储系统；核查开源存储系统中的数据是否存在明文数据；当开源存储系统中存在明文数据时，将所述明文数据加密为密文数据；密文数据从开源存储系统输出时，解密所述密文数据。本申请通过对存入开源存储系统的数据进行加密，在数据输出时进行解密恢复数据，从而在不影响数据的正常展示和处理的基础上保障数据的安全性和用户的隐私不被泄漏。

技术领域

本发明涉及数据库技术领域，尤其涉及一种大数据加解密处理方法及系统。

背景技术

各个行业和业务职能领域随着信息技术的快速渗透，所产生的数据量呈爆炸式上涨，大数据即巨量数据的采集、分析和展示也成为越来越多的行业运营赖以存在和发展的重要基础。

大数据需要大量的存储空间，而且数据变化情况复杂，因此需要大规模的可伸缩的数据存储系统进行存储和处理，以实现可以伸缩自如的存储解决方案，开源存储系统由于其灵活性和开放性，成为用于大数据处理的主要存储系统。现阶段，大数据的处理系统通常是使用公共的开源存储系统直接连接数据的采集平台与分析平台，采集的数据直接以明文方式存储于开源存储系统中，例如hadoop分布式框架、MPP、NoSQL、数据仓库等，分析平台再从开源存储系统读取数据加以分析并进行结果展示。

然而，大数据包含了众多个人和机构的隐私信息数据，对于用户可以自由使用及接触的开源存储系统而言，与开源存储系统相关的分析应用建设方/维护方以及大数据平台的建设方/维护方都可以随时获取用户数据，导致系统数据泄漏渠道众多，极易造成个人和机构的敏感数据的外泄，由于数据皆是直接存储，一旦泄漏，个人和机构的隐私信息也将毫无隐藏地被人获取。

发明内容

为克服相关技术中数据缺乏隐私保护的问题，本申请提供一种大数据加解密处理方法及系统。

根据本申请实施例的第一方面，提供一种大数据加解密处理系统，包括：

数据检测单元，用于在数据存入开源存储单元之前，检测数据是否为明文数据；

第一加密单元，用于当数据为明文数据时，将所述数据加密为密文数据；

开源存储单元，用于保存所述密文数据；

核查单元，用于核查开源存储单元中的数据是否为密文数据；

第二加密单元，用于当开源存储单元中存在明文数据时，将所述明文数据加密为密文数据；

解密单元，用于在密文数据从开源存储单元输出时，解密所述密文数据。

优选的，所述的大数据加解密处理系统，还包括：

离线加密单元，用于对存入开源存储单元的数据，在检测数据是否为明文数据之前，对数据进行离线加密，离线加密后的数据输入数据检测单元进行检测。

优选的，所述的大数据加解密处理系统，还包括：

密文检查单元，用于如果所述数据检测单元检测到数据为密文数据，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；

数据替换单元，用于如果所述密文数据错误，从离线加密单元获取所述密文数据对应的明文数据，替换错误的密文数据；

第三加密单元，用于对数据替换单元获取的明文数据根据所述加密规则和加密算法进行加密。

优选的，所述第一加密单元包括离线加密子单元和在线加密子单元。

优选的，所述解密单元，包括：

权限识别子单元，用于识别从开源存储单元读取数据的接口的权限；