[发明专利]基于时序数据的数据处理方法、装置、电子设备及可读存储介质

说明书

本发明涉及数据处理领域，揭露一种基于时序数据的数据处理方法，包括：对获取到的时序数据执行数据结构化处理，得到结构化时序数据；在预构建的时序数据库中创建数据表，并将所述结构化时序数据写入所述数据表中；解析采集到的增量数据，得到所述增量数据的字段；提取所述数据表中的数据列字段，判断所述数据表中的数据列字段与所述结构化增量数据的字段是否匹配；当所述数据列字段与所述增量数据的字段不匹配时，根据所述增量数据的字段对所述数据列字段执行增添操作，并将所述增量数据写入至新增添的数据列。本发明还提出一种基于时序数据的数据处理装置、设备以及存储介质。本发明可以提高时序数据的一致性以及减少了时序数据存储的失败率。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于时序数据的数据处理方法、装置、电子设备及可读存储介质。

背景技术

随着大数据时代的到来，时序数据的运用越来越多，如何让时序数据在存储之前保持一致性变得尤为重要，目前常见的对时序数据的数据处理通常只是简单地将时序数据存储至数据库中，并不能保证存储至所述数据库中的时序数据是否一致，容易出现当用户使用时序数据时出现错误并造成严重损失的情况。

发明内容

本发明提供一种基于时序数据的数据处理方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高时序数据的一致性以及减少了时序数据存储的失败率。

为实现上述目的，本发明提供的一种基于时序数据的数据处理方法，包括

获取时序数据，并对所述时序数据执行数据结构化处理，得到结构化时序数据；

在预构建的时序数据库中创建数据表，并将所述结构化时序数据写入所述数据表中；

实时采集增量数据，将所述增量数据执行数据结构化处理，得到结构化增量数据，并解析所述结构化增量数据，得到所述结构化增量数据的字段；

提取所述数据表中的数据列字段，将所述数据表中的数据列字段与所述结构化增量数据的字段进行对比校验，并判断所述数据表中的数据列字段与所述结构化增量数据的字段是否匹配；

若所述数据表中的数据列字段与所述结构化增量数据的字段匹配，则将所述结构化增量数据写入至所述数据表中对应的数据列中；

若所述数据表中的数据列字段与所述结构化增量数据的字段不匹配，则根据所述结构化增量数据的字段对所述数据表中的数据列字段执行增添操作，并将所述结构化增量数据写入至所述数据表中对应的数据列。

可选地，所述根据所述结构化增量数据的字段对所述数据表中的数据列字段执行增添操作，包括：

获取所述结构化增量数据的时间戳字段、维度列字段以及指标列字段；

基于所述结构化增量数据的时间戳字段、维度列字段以及指标列字段，利用预设的结构化查询语言在所述数据表中中创建所述结构化增量数据对应的数据列字段。

可选地，所述判断所述数据表中的数据列字段与所述结构化增量数据的字段是否匹配，包括：

将所述数据表中的时间戳字段的数值与所述结构化增量数据的时间戳字段的数值进行对比；

若所述数据表中的时间戳字段的数值大于等于所述结构化增量数据的时间戳字段的数值，则判定所述数据表中的数据列字段与所述结构化增量数据的字段不匹配；

若所述数据表中的时间戳字段的数值小于所述结构化增量数据的时间戳字段的数值，则将所述数据表中的维度列字段与所述结构化增量数据的标签字段进行对比；

若所述数据表中的维度列字段与所述结构化增量数据的标签字段不一致，则判定所述数据表中的数据列字段与所述结构化增量数据的字段不匹配；