[发明专利]一种基于Elasticsearch的快照管理系统及方法

说明书

本发明涉及一种基于Elasticsearch的快照管理系统及方法。本发明系统包括用户管理模块、定时任务模块、API管理模块及操作日志记录与容错模块；用户管理模块对访问Elasticsearch快照API进行访问控制管理；定时任务模块提供周期性执行创建、删除、恢复快照的功能；API管理模块实现：对Elasticsearch的快照API进行重新封装，本地数据库与Elasticsearch快照信息实时同步；操作日志记录与容错模块实现：在本地数据库中记录所有用户调用API的执行信息，提供API操作失败容错能力；溯源用户操作。本发明解决了原生Elasticsearch存在的无法对创建快照的用户进行统一管理、无容错能力、无定时任务功能、快照API直接暴露等问题。

技术领域

本发明涉及大数据处理技术领域，特别是一种基于Elasticsearch的快照管理系统及方法。

背景技术

Elasticsearch作用大数据分析工具，具备全文检索、分布式存储特性；使得其在日志分析领域使用十分普遍。但是因为Elasticsearch使用的是本地文件系统存储，本地容量十分有限，不易扩展。其次，由于Elasticsearch的开源版本不存在任何的用户管理功能，直接将快照API直接暴露出来，这种操作形式存在很大的安全隐患。

因此，用户若直接使用Elasticsearch的快照API会面临着许多的管理、安全、性能问题；具体如下：

Elasticsearch的社区版本不提供用户管理功能，所以根本不存在用户访问控制操作，所有用户都可以对快照仓库中所用的操作执行增、删、改、查操作；且操作无法追踪、溯源。这种情形就算是在内网也是非常危险的行为；用户的所有操作行为根本不受约束，风险极大。

Elasticsearch快照API直接访问后端Elasticsearch快照仓库，当用户并发量大时，很容易导致服务请求超时、服务不可达的情形发生。这部分存在明显的优化空间以应付高并发情形。

调用恢复快照API极易出现操作失败情形。若是本地原始数据未删除而直接进行快照恢复，将导致数据起冲突，引发快照恢复失败。因此用户在进行快照恢复操作时，还需不断检查本地是否还存有原始数据，若存在则删除；才能保证快照恢复成功。若是碰到日志量十分庞大场景，这类型操作的工作量也十分“可观”，影响用户体验。

原始快照出现操作失败情形时，定位错误流程十分麻烦，需人工查看Elasticsearch的服务日志，找到对应的快照操作日志的方式进行问题定位，且由于java程序的错误日志量十分庞大，因此就定位快照错误这一操作将是十分耗时、耗力的工作。

Elasticsearch原始日志存放在本地日志文件中，还存在严重的安全问题是用户能够删除日志文件中的记录，从而导致根本无法追踪用户的操作。

发明内容

本发明解决的技术问题在于一种基于Elasticsearch的快照管理系统及方法，解决原生Elasticsearch存在的无法对创建快照的用户进行统一管理、快照创建及恢复过程由于异常导致的成功或失败无容错能力、无定时任务功能，以及Elasticsearch快照API直接暴露给用户所带来的安全、性能问题。

本发明解决上述技术问题的技术方案是：

所述的系统包括用户管理模块、定时任务模块、API管理模块及操作日志记录与容错模块；

所述的用户管理模块对访问Elasticsearch快照API进行访问控制管理；

所述的定时任务模块提供周期性执行创建、删除、恢复快照的功能；

所述的API管理模块实现两个功能：一、对Elasticsearch的快照API进行重新封装；二、实现本地数据库与Elasticsearch快照信息实时同步；