[发明专利]一种数据管理方法、装置及电子设备

权利要求书

1.一种数据管理方法，其特征在于，所述方法包括：

在监测数据处理系统获取到原始数据时，生成标记数据，所述标记数据中记录有所述标记数据的数据产生时刻，所述标记数据为不需要所述数据处理系统的各处理节点处理的数据，所述原始数据为需要所述各处理节点处理的数据；

将所述标记数据添加至所述数据处理系统中，并对所述标记数据的第一数据量进行记录，以使得所述数据处理系统将所述标记数据和所述原始数据共同发送给所述各处理节点，由所述各处理节点对所述原始数据进行处理，并记录接收到所述标记数据的数据接收时刻和接收到所述标记数据的第二数据量；

获取所述数据处理系统的所述各处理节点记录的所述标记数据的数据信息，所述数据信息包括接收所有所述标记数据的第二数据量、接收每个所述标记数据的数据接收时刻以及该标记数据的数据产生时刻；

根据所述数据产生时刻、所述数据接收时刻、所述第一数据量以及所述第二数据量，确定所述原始数据的一致性信息和时延信息。

2.根据权利要求1所述的方法，其特征在于，所述生成标记数据，包括：

生成预设数量的标记数据；或者

获取所述原始数据的第三数据量，生成与所述第三数据量对应的标记数据。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据产生时刻、所述数据接收时刻、所述第一数据量以及所述第二数据量，确定所述原始数据的一致性信息和时延信息，包括：

针对同一个处理节点，选择该处理节点记录的最大数据接收时刻，并将所述最大数据接收时刻和所述数据产生时刻之间的第一差值作为所述原始数据的时延信息；

针对所述同一个处理节点，对该处理节点的所述第二数据量和所述第一数据量进行对比，当所述第二数据量与所述第一数据量相同时，确定所述原始数据的一致性信息为一致，当所述第二数据量与所述第一数据量不同时，确定所述原始数据的一致性信息为不一致。

4.根据权利要求3所述的方法，其特征在于，所述数据信息还包括：线程号，所述数据信息包括与所述线程号对应的数据信息；

所述针对同一个处理节点，选择该处理节点记录的最大数据接收时刻，并将所述最大数据接收时刻和所述数据产生时刻之间的第一差值作为所述原始数据的时延信息，包括：

针对所述同一个处理节点中的同一线程号，选择该线程号对应的最大数据接收时刻，并该线程号对应的最大数据接收时刻和所述数据产生时刻之间的第二差值，作为该线程号对应的原始数据的时延信息；

所述针对所述同一个处理节点，对该处理节点的所述第二数据量和所述第一数据量进行对比，包括：

针对所述同一个处理节点，对该处理节点的所有线程号对应的第二数据量进行求和，得到该处理节点的第二数据量，并对该处理节点的第二数据量和第一数据量进行对比。

5.根据权利要求1所述的方法，其特征在于，所述获取所述数据处理系统记录的所述标记数据的数据信息，包括：

获取所述数据处理系统中最后一个处理节点记录的所述标记数据的数据信息；

相应的，所述根据所述数据产生时刻、所述数据接收时刻、所述第一数据量以及所述第二数据量，确定所述原始数据的一致性信息和时延信息，包括：

计算所述最后一个处理节点的所述数据接收时刻和所述数据产生时刻之间的第二差值，并将所述第二差值作为所述数据处理系统处理所述原始数据的系统时延信息；

对所述最后一个处理节点的所述第二数据量和所述第一数据量进行对比，并将对比结果作为所述数据处理系统处理所述原始数据的系统一致性信息。

6.一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：

获取标记数据和原始数据，所述标记数据为不需要所述数据处理系统的各处理节点处理的数据，所述原始数据为需要所述各处理节点处理的数据；

将所述标记数据和所述原始数据发送至处理节点；

所述处理节点在处理所述原始数据时，将接收到的所有所述标记数据的第二数据量、每个所述标记数据的数据接收时刻和该标记数据的数据产生时刻作为数据信息进行记录。