[发明专利]一种流式数据的检测方法及装置

摘要

本发明实施例公开了一种流式数据的检测方法及装置。所述流式数据的检测方法包括：数据源节点为目标数据流中每组数据配置基于时间的时隙标记；所述数据处理节点根据所述时隙标记生成时隙记录；所述数据处理节点根据所述时隙记录生成第一时隙清单；数据中心根据预设时间间隔分别获取每个数据节点生成的所述第一时隙清单，并将每个数据处理节点对应的多个所述第一时隙清单进行合并，得到第二时隙清单；根据所述多个数据处理节点对应的多个第二时隙清单中记录的数据量，确定所述多个处理节点中的故障节点。本发明实施例提供的流式数据的检测方法及装置，通过给流式数据配置基于时间的时隙标记，提高流式数据检测的准确度及效率。

主权项

一种流式数据的检测方法，其特征在于，包括：数据源节点为目标数据流中每组数据配置基于时间的时隙标记，所述每组数据经所述数据源节点依次发送至多个数据处理节点；所述数据处理节点根据所述时隙标记生成时隙记录，所述时隙记录包括具有相同时隙标记的多组数据对应的初始接收时间、更新时间以及所述多组数据对应的数据量；所述数据处理节点根据所述时隙记录生成第一时隙清单，所述第一时隙清单包括至少一条所述时隙记录；数据中心根据预设时间间隔分别获取每个数据节点生成的所述第一时隙清单，并将每个数据处理节点对应的多个所述第一时隙清单进行合并，得到第二时隙清单，所述第二时隙清单与所述数据处理节点一一对应；根据所述多个数据处理节点对应的多个第二时隙清单中记录的数据量，确定所述多个处理节点中的故障节点。