[发明专利]用于排查数据异常的方法、装置、电子设备及存储介质

权利要求书

1.一种用于排查数据异常的方法，包括：

分别从预设的多个数据源中获取待处理数据；

将所述待处理数据中包含有相同特征识别码的数据划分进相同的集合；将各所述集合通过分布式技术分发给各整合实例，并控制各所述整合实例对接收到的集合中的数据进行按时间戳确定流转顺序的操作，且按照确定出的流转顺序进行排序，得到以所述特征识别码作为主键的相应数据的全生命周期流转信息；

响应于所述全生命周期流转信息中出现断档，确定相应的数据在流转中出现丢失异常；

响应于所述全生命周期流转信息中出现异常流转环节，确定相应的数据出现流转错误异常；

响应于所述全生命周期流转信息中任一流转环节后的结果数值未处于预设正常范围内，确定相应的数据存在结果错误异常；

还包括：当对日志或文件进行处理和分析时，将对应的数据源的实例一并存储到相应的资源内。

2.根据权利要求1所述的方法，还包括：

将所述全生命周期流转信息分别存储在MySQL数据库和ElasticSearch数据库中；其中，所述MySQL数据库用于存储聚合、过滤查询频率较低的部分流转信息，所述ElasticSearch数据库用于存储聚合、过滤查询频率较高的部分流转信息。

3.根据权利要求1所述的方法，还包括：

记录并存储所述全生命周期流转信息中包含的每一流转环节后的流转结果；

响应于预设有相应的目标流转结果推送规则，将符合所述目标流转结果推送规则的流转结果通过预设的推送路径进行推送。

4.根据权利要求1-3任一项所述的方法，还包括：

根据所述全生命流转信息确定每个流转环节出现的新字符；

将所述新字符作为新检索关键词更新检索库。

5.一种用于排查数据异常的装置，包括：

数据多源获取单元，被配置成分别从预设的多个数据源中获取待处理数据；

数据整合单元，被配置成将所述待处理数据中包含有相同特征识别码的数据划分进相同的集合；将各所述集合通过分布式技术分发给各整合实例，并控制各所述整合实例对接收到的集合中的数据进行按时间戳确定流转顺序的操作，且按照确定出的流转顺序进行排序，得到以所述特征识别码作为主键的相应数据的全生命周期流转信息；

异常排查单元，被配置成响应于所述全生命周期流转信息中出现断档，确定相应的数据在流转中出现丢失异常；响应于所述全生命周期流转信息中出现异常流转环节，确定相应的数据出现流转错误异常；响应于所述全生命周期流转信息中任一流转环节后的结果数值未处于预设正常范围内，确定相应的数据存在结果错误异常；

实例存储单元，被配置成当对日志或文件进行处理和分析时，将对应的数据源的实例一并存储到相应的资源内。

6.根据权利要求5所述的装置，还包括：

流转信息存储单元，被配置成将所述全生命周期流转信息分别存储在MySQL数据库和ElasticSearch数据库中；其中，所述MySQL数据库用于存储聚合、过滤查询频率较低的部分流转信息，所述ElasticSearch数据库用于存储聚合、过滤查询频率较高的部分流转信息。

7.根据权利要求5所述的装置，还包括：

流转结果记录单元，被配置成记录并存储所述全生命周期流转信息中包含的每一流转环节后的流转结果；

流转结果推送单元，被配置成响应于预设有相应的目标流转结果推送规则，将符合所述目标流转结果推送规则的流转结果通过预设的推送路径进行推送。

8.根据权利要求5-7任一项所述的装置，还包括：

新字符确定单元，被配置成根据所述全生命流转信息确定每个流转环节出现的新字符；

检索库更新单元，被配置成将所述新字符作为新检索关键词更新检索库。