[发明专利]数据处理方法、装置、计算机设备和计算机可读存储介质

说明书

本申请公开了一种数据处理方法、装置、计算机设备和计算机可读存储介质，通过计算引擎获取待处理数据，对待处理数据进行处理，得到处理后数据；根据处理后数据对计算引擎的状态后端的数据状态进行更新，得到更新后数据状态；将处理后数据以及更新后数据状态保存至外部文件中；向请求数据的数据接收端发送处理后数据，并在外部文件对已发送至数据接收端的处理后数据进行标识；当数据状态被恢复至检查点事件指示的存盘数据状态时，从外部文件中获取未被标识的目标处理后数据以及目标处理后数据对应的目标数据状态；根据目标数据状态对状态后端的存盘数据状态进行更新，并将目标处理后数据发送至数据接收端，可以避免数据重发和漏发。

技术领域

本申请涉及通信技术领域，具体涉及一种数据处理方法、装置、计算机设备和计算机可读存储介质。

背景技术

在大数据领域，可以采用计算引擎，例如flink、MapReduce以及spark计算引擎进行数据数量，和与外部系统进行数据交互。有些计算引擎设置有保证数据一致性的机制，可以自动处理计算引擎内部的数据一致性，对于与外部系统交互的数据的一致性无法保证，当计算引擎发生服务异常，计算引擎重启时，数据状态恢复至在检查点事件指示的存盘点状态，计算引擎会重新发送在存盘数据状态之后得到的处理后数据，且不会发送在存盘数据状态之前，得到的处理后数据，导致向外部系统发送的数据重复或者漏发等问题。

发明内容

本申请实施例提供一种数据处理方法、装置、计算机设备和计算机可读存储介质，当计算引擎发生服务异常重启时，计算引擎的数据状态会恢复至检查点事件指示的存盘点状态，可以根据外部文件中存储的数据状态，对数据后端中的存盘数据状态进行更新，并根据外部文件中存储的数据标识确定在更新后的数据状态之前得到的处理后数据，且未发送至数据接收端的目标处理后数据，将目标处理后数据发送给数据接收端，避免在计算引擎重启之后，数据重发和漏发。

本申请实施例提供的一种数据处理方法，包括：

通过计算引擎获取待处理数据，根据所述计算引擎的状态后端中的数据状态对所述待处理数据进行处理，得到处理后数据；

根据所述处理后数据对所述计算引擎的状态后端的数据状态进行更新，得到更新后数据状态；

将所述处理后数据以及所述更新后数据状态保存至外部文件中；

向请求数据的数据接收端发送所述处理后数据，并在所述外部文件对已发送至所述数据接收端的处理后数据进行标识；

当所述计算引擎发生服务异常，所述数据状态被恢复至检查点事件指示的存盘数据状态时，从所述外部文件中，获取存储的未被标识的目标处理后数据，以及所述目标处理后数据对应的目标数据状态；

根据所述目标数据状态对所述状态后端的存盘数据状态进行更新，并将目标处理后数据发送至所述数据接收端。

相应的，本申请实施例还提供的一种数据处理装置，包括：

处理单元，用于通过计算引擎获取待处理数据，根据所述计算引擎的状态后端中的数据状态对所述待处理数据进行处理，得到处理后数据；

更新单元，用于根据所述处理后数据对所述计算引擎的状态后端的数据状态进行更新，得到更新后数据状态；

保存单元，用于将所述处理后数据以及所述更新后数据状态保存至外部文件中；

标识单元，用于向请求数据的数据接收端发送所述处理后数据，并在所述外部文件对已发送至所述数据接收端的处理后数据进行标识；

获取单元，用于当所述计算引擎发生服务异常，所述数据状态被恢复至检查点事件指示的存盘数据状态时，从所述外部文件中，获取存储的未被标识的目标处理后数据，以及所述目标处理后数据对应的目标数据状态；