[发明专利]云环境中相似数据消息锁定加密去重方法、云存储系统

说明书

本发明属于云存储技术领域，公开了一种云环境中相似数据消息锁定加密去重方法，采用相似性保留哈希函数，基于纠错码的密钥提取方法和基于伪随机生成器的安全对称加密算法构成本发明的技术路线。与现有的数据去重方法相比，该方案的实现可以进一步提高现有的方案去重的效率，可以进一步提升云服务器存储空间的利用率，并可以进一步的降低用户与云服务器的计算开销和存储开销。本发明能够实现相似密文数据安全和高效的去重；本还发明采用汉明距离缩减和标签切割最优化方法，通过汉明距离缩减和标签切割最优化的方法，可以提高云服务器进行标签查询的效率，实验结果表明本发明在存储和通信花销方面是高效的。

技术领域

本发明属于云存储技术领域，尤其涉及一种云环境中相似数据消息锁定加密去重方法、云存储系统。

背景技术

现如今，每天都有大量的数据被产生和处理。国际数据公司关于数字领域的研究指出到2020年互联网中的数据将达到40000EB，并且数据将持续以每两年翻倍的速度增长。云计算给数据存储方案的范式带来了转变。通过提供可靠的、可扩展的、按需的云存储服务并收取相对低廉的价格，对个人和企业数据管理带来了极大的便利性。思科全球云指数指出所有数据中心流量的83％来自于云，到2019年，数据中心工作量的80％将在云上被处理。根据现在的研究表明，主存储器中的20％到30％数据是冗余的。具体来说，通过在备份存储中实现全部文件的重复数据删除技术，将节约超过50％的标准文件系统的存储空间，超过72％的备份文件系统的存储空间。因此，数据去重技术可以有效的减轻数据存储的压力，通过删除冗余数据减少网络通信量，从而提高系统服务质量。一系列的在线/离线存储系统已经提供了数据去重功能，如IBM公司的InfoSphere QualityStage服务和FirstLogic公司的SAP Data Services等商业数据集成工具支持的重复数据检测。有许多基于聚类的技术，分类技术，链接分析技术或统计技术用于检测重复记录。还有很多软件旨在检测和消除相同或类似的重复数据，如Duplicate Cleaner，VisiPics和DupeGuru。然而，由于在云存储系统中用户将失去其数据的物理控制权，这使得用户数据的安全成为最大的诉求。因此，为了保护云用户敏感数据的安全性，用户将数据外包前通常会对数据进行加密。然而，加密技术的目标是提供明文数据的语义安全性，使得密文数据与随机数据不可区分。因此，在多用户云存储系统中，如何在保护数据安全性的前提下实现数据去重成为了关键且极具挑战的问题。为了解决这个问题，收敛加密方案被提出。在收敛加密中，通过使用文件的哈希值作为收敛密钥，相同的数据总能得到相同的密钥，通过使用收敛密钥加密解密数据，这使得密文去重得以实现。这种加密方案被形式化定义为消息锁定加密，通过从相同的数据得到相同的密钥进行数据加密的方法，使得云服务器可以判断两个密文数据是否是由相同的明文得到的。之后，一系列新的消息锁定加密方案力图提高方案的安全性或者提供其他新的特性。然而那些方案均只考虑了相同数据的去重并不能应用于实现相似数据的去重。许多实际的系统需要在数据检测，数据清理和数据聚合等情况下进行重复数据去重或搜索相似的数据项，如差错，拼写错误和内容不一致。一些相似数据检索方案和去重系统已经被提出，还有很多方案和软件被用来删除内容相似的网页、文本文档、音乐、图片、视频或者是本地磁盘的二进制数据。然而，那些方案和软件主要解决明文数据的去重而不是密文数据。进一步的，他们的方案适用于个人使用而不适用于云环境下的多用户场景。因此，现有的方案很难直接应用于云环境下安全的相似数据去重。尽管现在有方案可以支持隐私保护的云环境中的相似图像去重，但是他们假设存在一个用户群组并且加密密钥在群组中被分享。然而云环境中用户很难知道拥有同样数据的其他用户。一般来说，云环境下相似数据去重的挑战是云用户很难与其他用户沟通协商一个共同的加密密钥，而且云服务器也很难判断两个密文是否是由相似的数据加密得来的。

综上所述，现有技术存在的问题是：