[发明专利]大数据平台安全索引系统及方法

摘要

一种大数据平台安全索引系统，接收客户端提交的搜索关键字信息并在搜索域内根据关键字进行搜索以标识匹配关键字的文档，服务器提供与关键字匹配的文档，所述大数据平台安全索引系统包含对所述服务器提供的文档进行处理以生成包含特征索引的相应倒排索引文件集的索引生成逻辑模块、密钥服务器、搜索请求分析模块、搜索引擎池、搜索结果生成模块、安全索引模块、元数据引擎模块。本发明还公开了一种大数据平台安全索引方法。

主权项

一种大数据平台安全索引系统，接收客户端提交的搜索关键字信息并在搜索域内根据关键字进行搜索以标识匹配关键字的文档，服务器提供与关键字匹配的文档，所述大数据平台安全索引系统包含对所述服务器提供的文档进行处理以生成包含特征索引的相应倒排索引文件集的索引生成逻辑模块、密钥服务器、搜索请求分析模块、搜索引擎池、搜索结果生成模块，其特征在于，所述大数据平台安全索引系统还包括将所述索引生成逻辑模块处理产生的包含特征索引的倒排索引文件集按照单一特征智能分段并加密以密文形式安全存储在分布式文件系统hadoop中的安全索引模块、管理所述安全索引模块生成的索引段文件的元数据引擎模块；所述元数据引擎模块为管理所述安全索引模块生成的段文件并能根据特征快速定位段的索引引擎，包括包含搜索域中的段中的特征的完整索引的元数据索引模块以及被元数据索引模块索引并索引安全索引的元数据索引扩展模块；所述安全索引模块包括将所述索引生成逻辑模块生成的倒排索引文件集写入索引缓存并能支持索引缓存更新的高速缓存模块、分析所述高速缓存中的索引缓存数据并按需生成持久化任务以及分析元数据引擎中的安全索引段生成相应段优化任务的优化器。