[发明专利]一种数据上报方法、装置、设备及存储介质

说明书

本申请公开了一种数据上报方法、装置、设备及存储介质，涉及分布式存储集群技术领域，用于解决目前检索结果易出错的缺点，包括：接收用户上传的当前日志，并基于所述当前日志生成对应的同步日志；从所述同步日志中确定目标日志，并解析所述目标日志以得到对应的解析信息；基于所述解析信息以及预设日志消费规则消费所述目标日志，以得到对应的日志消费结果；基于所述日志消费结果以及预设日志处理规则处理所述目标日志，以得到处理后信息。本申请通过记录每一次当前日志对应的同步日志，并在确定目标日志之后进行消费，根据日志消费结果处理所述目标日志，保证故障异常数据不丢失，提高了检索效率以及稳定性。

技术领域

本发明涉及分布式存储集群技术领域，特别涉及一种数据上报方法、装置、设备及存储介质。

背景技术

基于elasticsearch(一个数据分析引擎)的分布式文件系统元数据检索功能可以实现百亿级文件亚分钟级检索，支持用户配置简单和复杂的检索条件，高效辅助用户进行数据管理，主要实现流程是文件在进行元数据访问时经过MDS(元数据服务)，分布式文件系统的所有文件由不同的MDS分布负责一部分，每个MDS都会在其负责的文件元数据更新时将最新的元数据上报到不同的ES上，用户配置不同的检索条件从ES集群中检索出符合要求的文件列表。

在元数据上报的过程中，一方面元数据上报的速度和元数据访问(业务访问)的速度不一样，一般业务访问的速度比上报速度高，如果元数据访问(读写)需要同步等元数据上报完成，此时会大大降低存储正常的业务性能；另一方面故障、服务异常等是常态对应的结果是元数据上报失败，上报失败如果不做处理则会导致最新的元数据在ES中丢失，用户检索出的结果不正确。

发明内容

有鉴于此，本发明的目的在于提供一种数据上报方法、装置、设备和存储介质，能够保证故障异常数据不丢失，提高检索效率以及稳定性。其具体方案如下：

第一方面，本申请公开了一种数据上报方法，包括：

接收用户上传的当前日志，并基于所述当前日志生成对应的同步日志；

从所述同步日志中确定目标日志，并解析所述目标日志以得到对应的解析信息；

基于所述解析信息以及预设日志消费规则消费所述目标日志，以得到对应的日志消费结果；

基于所述日志消费结果以及预设日志处理规则处理所述目标日志，以得到处理后信息。

可选的，所述接收用户上传的当前日志，并基于所述当前日志生成对应的同步日志，包括：

获取用户的当前动作请求，并将所述当前动作请求记录在日志文件中，以得到当前日志，基于所述当前日志生成对应的同步日志；其中，所述当前动作请求包含创建请求、修改请求、重命名请求以及其他请求。

可选的，所述基于所述当前日志生成对应的同步日志之后，还包括：

基于所述同步日志的生成顺序将所述同步日志插入至同步日志列表的尾部，以得到更新后同步日志列表。

可选的，所述基于所述日志消费结果以及预设日志处理规则处理所述目标日志，以得到处理后信息，包括：

当接收到所述日志消费结果时，将所述同步日志列表中对应的所述目标日志的位置标记为过期位置并裁剪所述目标日志；

当所述日志消费结果为消费失败时，将消费失败的所述目标日志重新插入至所述同步日志列表的尾部，将修改后的所述同步日志列表确定为所述处理后信息。

可选的，所述将消费失败的所述目标日志重新插入至所述同步日志列表的尾部，包括：

获取所述目标日志对应的消费信息；

当所述消费信息为元数据上报时，获取对应的最新的目标元数据的最新日志信息，并将所述最新日志信息插入至所述同步日志列表的尾部；