[发明专利]一种数据处理系统、方法、电子设备及存储介质

说明书

本发明实施例提供了一种数据处理系统、方法、电子设备及存储介质，上述方法包括：监测原始数据的处理结果；当处理结果为异常处理结果时，获取目标旧原始数据的标识信息；获取目标旧原始数据对应的数据流和采集到的新原始数据对应的数据流，其中，目标旧原始数据对应的数据流是基于目标旧原始数据的标识信息获取的；对目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新异常处理结果。采用本发明实施例提供的方法，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理系统、方法、电子设备及存储介质。

背景技术

在数据处理技术领域中，目前，比较常见的数据处理的处理方式包括：流处理和批处理。流处理是不同节点之间数据的实时处理和传输，批处理是对规定数据量或者处理时间阈值的一批数据进行处理。其中，流处理是在数据生成和传输的过程中对数据进行计算，当数据传输过程中任何环节故障，都将造成流处理的计算结果不准确。

针对流处理计算结果不准确的问题，目前常用的修正方法是使用流处理和批处理混合的数据处理方式，对流处理不准确的计算结果进行修正。具体是，当流处理在数据传输过程中任何环节出现故障导致计算结果不准确时，可以通过批处理方式，重新对流处理发生故障期间的数据进行计算，获得新的计算结果，然后使用批处理方式获得的计算结果覆盖流处理的不正确的计算结果，以实现对流处理得到的计算结果的修正。

可见，现有技术的这种数据处理方法，需要同时运行流处理和批处理两种方式的处理程序，导致系统资源消耗较大。

发明内容

本发明实施例的目的在于提供一种数据处理系统、方法、电子设备及存储介质，以降低由同时运行两种方式的处理程序带来的系统资源消耗。

为了达到上述目的，本发明实施例提供了一种数据处理系统，包括：主控模块、数据采集模块和数据处理模块；

所述主控模块，用于监测原始数据的处理结果，当所述处理结果为异常处理结果时，获取目标旧原始数据的标识信息，并向所述数据采集模块发送所述目标旧原始数据的标识信息；所述目标旧原始数据为：所述异常处理结果对应的旧原始数据；

所述数据采集模块，用于采集并保存新原始数据，以及基于所述目标旧原始数据的标识信息，获取目标旧原始数据，并向所述数据处理模块发送所述目标旧原始数据对应的数据流和所述新原始数据对应的数据流；所述新原始数据为未经数据处理的原始数据，所述旧原始数据为所述处理结果对应的原始数据；

所述数据处理模块，用于对接收的目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果。

进一步的，所述主控模块，包括：监测子模块和控制子模块；

所述监测子模块，用于监测原始数据的处理结果，当所述监测结果表示所述原始数据的处理结果为异常处理结果时，获取目标旧原始数据的标识信息；并将所得到的目标旧原始数据的标识信息发送至所述控制子模块；

所述控制子模块，接收所述目标旧原始数据的标识信息，并向所述数据采集模块发送所述目标旧原始数据的标识信息。

进一步的，所述系统，还包括：数据接收模块；所述数据处理模块，包括：新数据处理子模块和旧数据处理子模块；

所述数据采集模块，具体用于采集并保存新原始数据，以及基于所述目标旧原始数据的标识信息，从已保存的原始数据中获取目标旧原始数据，并为所述目标旧原始数据生成旧数据标签；并向所述数据处理模块发送：已生成旧数据标签的目标旧原始数据对应的数据流和所述新原始数据对应的数据流；