[发明专利]一种流式数据的检测方法及装置

说明书

本发明实施例公开了一种流式数据的检测方法及装置。所述流式数据的检测方法包括：数据源节点为目标数据流中每组数据配置基于时间的时隙标记；所述数据处理节点根据所述时隙标记生成时隙记录；所述数据处理节点根据所述时隙记录生成第一时隙清单；数据中心根据预设时间间隔分别获取每个数据节点生成的所述第一时隙清单，并将每个数据处理节点对应的多个所述第一时隙清单进行合并，得到第二时隙清单；根据所述多个数据处理节点对应的多个第二时隙清单中记录的数据量，确定所述多个处理节点中的故障节点。本发明实施例提供的流式数据的检测方法及装置，通过给流式数据配置基于时间的时隙标记，提高流式数据检测的准确度及效率。

技术领域

本发明实施例涉及互联网大数据处理技术领域，尤其涉及一种流式数据的检测方法及装置。

背景技术

在大数据时代，随着数据量的爆炸式增长及对数据处理的环节的增加，在数据运营方面的精细化处理对各家互联网企业提出了更高的要求。如何让不断增长的数据完整无缺的展现在用户面前、如何检测各个节点是否正常工作成为很多大数据系统的关键性问题。

目前绝大多数的大数据处理采用流式数据处理方式，即数据处理采用流水线作业，各个数据处理环节依赖上一处理环节的输出。现有技术中，在采用流式数据处理方式处理大数据时，当某一环节出现问题时，检测结果很难准确定位到具体环节，使得故障点耦合度高，数据检测的精确度及效率较低。

发明内容

本发明提供一种流式数据的检测方法及装置，以提高数据检测的准确度及效率。

第一方面，本发明实施例提供了一种流式数据的检测方法，所述流式数据的检测方法包括：

数据源节点为目标数据流中每组数据配置基于时间的时隙标记，所述每组数据经所述数据源节点依次发送至多个数据处理节点；

所述数据处理节点根据所述时隙标记生成时隙记录，所述时隙记录包括具有相同时隙标记的多组数据对应的初始接收时间、更新时间以及所述多组数据对应的数据量；

所述数据处理节点根据所述时隙记录生成第一时隙清单，所述第一时隙清单包括至少一条所述时隙记录；

数据中心根据预设时间间隔分别获取每个数据节点生成的所述第一时隙清单，并将每个数据处理节点对应的多个所述第一时隙清单进行合并，得到第二时隙清单，所述第二时隙清单与所述数据处理节点一一对应；

根据所述多个数据处理节点对应的多个第二时隙清单中记录的数据量，确定所述多个处理节点中的故障节点。

进一步地，所述数据源节点为目标数据流中每组数据配置基于时间的时隙标记，包括：

若所述目标数据流中断，则生成测试空数据包；

为所述测试空数据包配置基于时间的时隙标记。

进一步地，所述数据处理节点根据所述时隙记录生成第一时隙清单，包括：

当所述数据处理节点将待添加时隙记录添加到时隙清单时，判断所述第一时隙清单中的时隙记录数量是否到达记录数量阈值；

如果所述第一时隙清单中的时隙记录数量到达所述记录数量阈值，则采用回滚的方式将所述待添加时隙记录更新至所述第一时隙清单。

进一步地，所述将每个数据处理节点对应的多个所述第一时隙清单进行合并，包括：

获取待合并的第一时隙清单中的第一时隙记录；

从已存储的第一时隙清单中，查找具有相同时隙标识的第二时隙记录；

根据所述第一时隙记录和所述第二时隙记录分别对应的初始接收时间和更新时间确定合并操作类型，所述合并操作类型包括：累加操作、忽略操作和覆盖操作；