[发明专利]一种数据管理方法、装置及电子设备

说明书

本发明实施例提供了一种数据管理方法、装置及电子设备，该方法包括：在监测数据处理系统获取到原始数据时，生成标记数据，将标记数据添加至数据处理系统，并对标记数据的第一数据量进行记录；获取数据处理系统记录的数据信息；最后通过对数据信息和第一数据量进行分析，得到标记数据在数据处理系统中的一致性信息和时延信息，由于该标记数据和原始数据共同经过该数据处理系统中的处理节点，因此，可以将标记数据的一致性信息和时延信息，确定为原始数据的一致性信息和时延信息，从而为分析处理节点在处理原始数据时存在的一致性问题和时延问题提供分析依据，进一步的，使得业务人员可以基于分析依据对处理节点的一致性问题和时延问题进行管理。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据管理方法、装置及电子设备。

背景技术

在信息时代，数据作为构成信息的基础，已经成为一种重要资源，因此，越来越多的业内人士认识到数据质量成为决定资源好坏的一个重要方面，而数据质量的好坏取决于数据管理的好坏。并且，随着大数据技术的发展，越来越丰富的数据给数据的管理带来了更多挑战。为了管理好越来越丰富的数据，技术人员需要从数据的采集、数据的转发、数据的存储以及数据的分析等各个方面进行管理。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

在对数据进行处理时，会经过多个处理节点。而在各个处理节点，可能会出现数据处理延迟或者出现处理节点重启造成的数据重复处理的问题，因此，有必要对数据处理时的一致性问题和时延问题进行管理，以便及时发现处理节点存在的问题。

发明内容

本发明实施例的目的在于提供一种数据管理方法、装置及电子设备，以实现为分析处理节点在处理数据时存在的一致性问题和时延问题提供分析依据，使得业务人员可以基于分析依据对处理节点的一致性问题和时延问题进行管理。具体技术方案如下：

在本发明实施例的一个方面，本发明实施例提供了一种数据管理方法，该方法包括：

在监测数据处理系统获取到原始数据时，生成标记数据，标记数据中记录有标记数据的数据产生时刻；

将标记数据添加至数据处理系统中，并对标记数据的第一数据量进行记录；

获取数据处理系统记录的标记数据的数据信息，数据信息包括接收所有标记数据的第二数据量、接收每个标记数据的数据接收时刻以及该标记数据的数据产生时刻；

根据数据产生时刻、数据接收时刻、第一数据量以及第二数据量，确定原始数据的一致性信息和时延信息。

在本发明实施的又一方面，本发明实施例还提供了一种数据处理方法，应用于数据处理系统，该方法包括：

获取标记数据和原始数据；

将标记数据和原始数据发送至处理节点；

处理节点在处理原始数据时，将接收到的所有标记数据的第二数据量、每个标记数据的数据接收时刻和该标记数据的数据产生时刻作为数据信息进行记录。

在本发明实施的又一方面，本发明实施例还提供了一种数据管理装置，该装置包括：

标记数据生成模块，用于在监测数据处理系统获取到原始数据时，生成标记数据，标记数据中记录有标记数据的数据产生时刻；

记录模块，用于将标记数据添加至数据处理系统中，并对标记数据的第一数据量进行记录；

数据信息获取模块，用于获取数据处理系统记录的标记数据的数据信息，数据信息包括接收所有标记数据的第二数据量、接收每个标记数据的数据接收时刻以及该标记数据的数据产生时刻；

计算模块，用于根据数据产生时刻、数据接收时刻、第一数据量以及第二数据量，确定原始数据的一致性信息和时延信息。