[发明专利]一种在大数据背景下的数据安全存储方法

说明书

技术领域

本发明属于电数据数字处理技术领域，涉及一种针对计算系统安全的方法，更具体而言，涉及一种在大数据背景下的数据安全存储方法。

背景技术

随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。与此同时，该趋势对存储技术提出越来越高的要求，包括对数据库高并发读写要求、对海量数据的高效率存储和访问需求、对数据库高可扩展性和高可用性的需求，其中焦点集中在增强数据安全性同时提高效率，因此需要对用户的数据进行加密保护，并对方案进行不断优化和改进。

对于数据中心，由于可能受到恶意用户或者自然灾害的攻击，或者当该数据中心由低效率和可靠性的节点组成时，安全性尤为重要。尽管技术人员尝试使用安全的分布式以及RS编码来解决该问题，但其带来低效的问题，特别是对于处理云计算中的数据。

现有技术中公开了一些相关的方案，例如在申请号201410485029的专利申请中，公开了一种基于云计算的数据对称和非对称混合加解密方法，其实现过程为：数据加密通过AES对称加密算法密钥和RSA非对称算法对公开密钥进行加密；数据解密通过RSA非对称算法对AES算法的公开密钥密文进行，还原出数据的明文。然而，尽管这种基于云计算的数据对称和非对称混合加解密方法比较有效解决了云计算中数据安全存储的问题，适用于大数据量的加密和解密，但其效率不够高。

再例如，在申请号201410265820的专利申请中，公开了一种面向行业大数据多样性应用的混合型处理系统及方法，包括：分布式数据采集子系统，用于从外部系统采集数据；存储和并行计算子系统，用于对所采集的数据进行存储和计算；一体化资源和系统管理平台，用于对所存储和计算的数据进行管理；其中存储和并行计算子系统，包括大数据存储子系统和大数据处理子系统；其中大数据处理子系统，包括内存计算引擎，其中内存计算引擎，用于在无共享集群中提供分布式内存抽象，并对采集的数据进行并行流水化和线程轻量级处理。尽管该方法提高了效率，但是其安全性不够强。

有鉴于此，本发明提出一种在大数据背景下的数据安全存储方法，其满足在大数据信息处理时既安全又高效的问题。

发明内容

本发明的目的之一是提供一种在大数据背景下的数据安全存储方法，其既增强了数据安全性，同时也提高了效率。

本发明为解决上述技术问题而采取的技术方案为：一种在大数据背景下的数据安全存储方法，包括：接收待存储的文件，确认文件完整性和有效性；估计待存储文件大小，并进行目的地空间判断；划分待存储文件；对待存储文件进行分布；对待存储文件进行编码加密；对待存储文件进行存储；以及对待存储文件进行解码和恢复。

根据本发明的一个方面，接收待存储的文件以确认文件完整性和有效性包括：如果文件完整且有效则进行下一步操作，否则返回给发送者，以提示重新发送；估计待存储文件大小并进行目的地空间判断包括：如果待存储文件大小大于诸如存储器块之类的目的地空间的单位单元的大小，则用前者除以后者，以确定存储单位单元的数量，如果相除结果不大于一，则确定数量为一个，否则按“进一法”确定单位单元数量。

根据本发明的另一个方面，划分待存储文件包括：将文件划分为N个消息，其中N是正整数。

根据本发明的另一个方面，划分待存储文件包括将文件划分为N个消息具体包括：将确定完整且有效的待存储文件称为F，它是包含N个消息的串，F＝(d₁,d₂,……,d_N)，其中d_i是w个码元形式的第i个消息，i和w都是正整数，即d_i＝(d_(i-1)w+1，……，d_iw)，优选的是w是32字节，即256比特，因此文件F可被分为Nw个消息码元：F＝(d₁,……,d_w),(d_w+1,……,d_2w),……,(d_(N-1)w+1,……,d_Nw)。

根据本发明的另一个方面，对待存储文件进行分布包括：

分布函数R(d)如下：