[发明专利]一种面向分布式内存的安全索引系统及方法

说明书

一种面向分布式内存的安全索引系统及方法，涉及安全索引系统技术领域，包括服务器、对服务器提供的文档进行处理以生成包含特征索引的相应倒索引文件集的索引生成逻辑模块、密钥服务器、安全索引模块、元数据引擎模块、搜索请求分析模块、搜索引擎池和搜索结果生成模块；所述索引生成逻辑模块与服务器通信连接，所述安全索引模块与索引生成逻辑模块通信连接；采用本发明的安全索引系统及方法，实现了多级索引的智能加解密，不影响业务响应，省时省力，同时，能够实现索引的不断优化和更新，提高业务响应速度。

技术领域

本发明涉及安全索引系统技术领域，具体涉及一种面向分布式内存的安全索引系统及方法。

背景技术

随分布式内存系统在存储、处理、传输等过程中面临诸多安全风险。目前最好的方法就是对数据加密，断绝他人窥探隐私的可能性。搜索引擎实现都不安全，一个常见的示例是倒排索引文件以明文的形式存储，攻击者通过非法手段窃取倒排索引文件，再结合语言模型等技术就能高质量的还原出文件内容。虽然文件内容被加密存储在服务器，但还是会造成隐私泄露。

为了满足分布式内存系统的安全与隐私保护需求，大数据平台搜索引擎的索引文件也需要加密。但要做到却并不容易：首先，索引是个很大的文件，而加解密的过程又非常耗时；其次，大数据平台不断更新的特性注定索引文件也会被频繁修改，这些工作必然要涉及加密和解密；最后，索引文件被加密后是不能直接响应业务请求的，额外的解密工作会再次拉长用户的等待时间。

发明内容

本发明的目的就是为了解决上述技术问题，而提供一种面向分布式内存的安全索引系统及方法。

本发明一种面向分布式内存的安全索引系统，它包括服务器、对服务器提供的文档进行处理以生成包含特征索引的相应倒索引文件集的索引生成逻辑模块、密钥服务器、安全索引模块、元数据引擎模块、搜索请求分析模块、搜索引擎池和搜索结果生成模块；所述索引生成逻辑模块与服务器通信连接，所述安全索引模块与索引生成逻辑模块通信连接，所述密钥服务器和元数据引擎模块分别与安全索引模块通信连接，所述搜索请求分析模块与元数据引擎模块通信连接，所述搜索结果生成模块通过搜索引擎池与搜索请求分析模块通信连接，并与客户端通信相连。

所述安全索引模块包括高速缓存模块、优化器和HDFS，所述高速缓存模块与索引生成逻辑模块通信相连，所述优化器与高速缓存模块通信相连，所述HDFS和密钥服务器分别与优化器通信相连。

所述元数据引擎模块由元数据索引模块和元数据索引扩展模块构成。

所述优化器包括检查所述高速缓存中需要持久化的索引缓存数据并生成持久化任务和分析所述元数据引擎中记录的安全索引段的状态信息生成段优化任务的分析器、根据所述分析器分析出的任务生成任务队列的任务队列模块、处理所述任务队列模块中记录的任务的执行器。

一种面向分布式内存的安全索引系统的使用方法包括以下步骤：

s1：用户通过客户端提交需要查询的关键字，通过所述大数据平安全索引系统接收客户端提交的关键字信息并在搜索域内根据关键字进行搜索以标识匹配关键字的文档；

s2：服务器提供与关键字匹配的文档所述面向分布式内存的安全索引系统；

s3：由所述面向分布式内存的安全索引系统中的索引生成逻辑模块对所述服务器提供的与关键字匹配的文档进行处理以生成包括特征索引的相应倒排索引文件集，所述倒排文件及包含特征term和文档提取凭证docID；