[发明专利]一种数据上报方法、装置、设备及存储介质

权利要求书

1.一种数据上报方法，其特征在于，包括：

接收用户上传的当前日志，并基于所述当前日志生成对应的同步日志；

从所述同步日志中确定目标日志，并解析所述目标日志以得到对应的解析信息；

基于所述解析信息以及预设日志消费规则消费所述目标日志，以得到对应的日志消费结果；

基于所述日志消费结果以及预设日志处理规则处理所述目标日志，以得到处理后信息。

2.根据权利要求1所述的数据上报方法，其特征在于，所述接收用户上传的当前日志，并基于所述当前日志生成对应的同步日志，包括：

获取用户的当前动作请求，并将所述当前动作请求记录在日志文件中，以得到当前日志，基于所述当前日志生成对应的同步日志；其中，所述当前动作请求包含创建请求、修改请求、重命名请求以及其他请求。

3.根据权利要求1所述的数据上报方法，其特征在于，所述基于所述当前日志生成对应的同步日志之后，还包括：

基于所述同步日志的生成顺序将所述同步日志插入至同步日志列表的尾部，以得到更新后同步日志列表。

4.根据权利要求3述的数据上报方法，其特征在于，所述基于所述日志消费结果以及预设日志处理规则处理所述目标日志，以得到处理后信息，包括：

当接收到所述日志消费结果时，将所述同步日志列表中对应的所述目标日志的位置标记为过期位置并裁剪所述目标日志；

当所述日志消费结果为消费失败时，将消费失败的所述目标日志重新插入至所述同步日志列表的尾部，将修改后的所述同步日志列表确定为所述处理后信息。

5.根据权利要求4所述的数据上报方法，其特征在于，所述将消费失败的所述目标日志重新插入至所述同步日志列表的尾部，包括：

获取所述目标日志对应的消费信息；

当所述消费信息为元数据上报时，获取对应的最新的目标元数据的最新日志信息，并将所述最新日志信息插入至所述同步日志列表的尾部；

当所述消费信息为删除数据时，直接将所述目标日志重新插入至所述同步日志列表的尾部。

6.根据权利要求1至5任一项所述的数据上报方法，其特征在于，所述从所述同步日志中确定目标日志，并解析所述目标日志以得到对应的解析信息，包括：

通过预设定时器线程定时从所述同步日志中确定目标日志；

通过预设日志解析方式解析所述目标日志，以得到所述目标日志对应的待插入表信息；所述待插入表信息包含全量表、层级变更表。

7.根据权利要求6所述的数据上报方法，其特征在于，所述基于所述解析信息以及预设日志消费规则消费所述目标日志，以得到对应的日志消费结果，包括：

基于所述待插入表信息确定所述目标日志对应的目标表信息；

获取预设数量的所述目标日志，以得到目标批次日志，并基于所述目标批次日志生成对应的HTTP请求；

将所述HTTP请求发送至ES集群，以便基于所述目标表信息在所述ES集群中依次消费所述目标批次日志中的所述目标日志，并得到对应的日志消费结果。

8.一种数据上报装置，其特征在于，包括：

日志生成模块，用于接收用户上传的当前日志，并基于所述当前日志生成对应的同步日志；

日志解析模块，用于从所述同步日志中确定目标日志，并解析所述目标日志以得到对应的解析信息；

日志消费模块，用于基于所述解析信息以及预设日志消费规则消费所述目标日志，以得到对应的日志消费结果；

日志处理模块，用于基于所述日志消费结果以及预设日志处理规则处理所述目标日志，以得到处理后信息。

9.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的数据上报方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据上报方法。