[发明专利]一种数据处理方法、数据处理器、目标源组件和系统

说明书

本申请公开了一种数据处理方法、数据处理器、目标源组件和系统，方法包括：数据处理器在完成初始化后，接收数据源组件发送的从数据源中获取的源数据；数据处理器对源数据进行处理，并将处理后的源数据发送给目标源组件，使得目标源组件基于初始化后生成的目标源数据交换协议将处理后的源数据写入至对应的目标源，提高了数据处理效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、数据处理器、目标源组件和系统。

背景技术

在计算机领域中，开发者针对不同的业务数据往往开发有不同的开源系统，而不同的系统编程模型差异较大，业务逻辑无法在各个开源系统之间进行无缝迁移，导致数据处理效率低的问题。

发明内容

本申请提供了一种数据处理方法、数据处理器、目标源组件和系统，用于改善现有的开源系统存在的数据处理效率低的技术问题。

有鉴于此，本申请第一方面提供了一种数据处理方法，包括：

所述数据处理器在完成初始化后，接收数据源组件发送的从数据源中获取的源数据；

所述数据处理器对所述源数据进行处理，并将处理后的所述源数据发送给目标源组件，使得所述目标源组件基于初始化后生成的目标源数据交换协议将处理后的所述源数据写入至对应的目标源。

可选的，所述数据处理器的初始化过程包括：

所述数据处理器从配置文件中加载目标参数和预定义数据处理规则，所述目标参数包括线程数量或网络参数；

所述数据处理器根据所述预定义数据处理规则初始化算法链，得到实例化算法链，所述实例化算法链由若干实例化的执行单元构成；

相应的，所述数据处理器对所述源数据进行处理，包括：

所述数据处理器基于所述目标参数，通过所述实例化算法链中的若干执行单元依次对所述源数据进行处理。

可选的，还包括：

所述数据处理器在出现数据堆积时，发送通知消息至所述数据源组件，使得所述数据源组件调整源数据的发送速率。

可选的，还包括：

所述数据处理器在发送处理后的所述源数据的预置时间段内，未接收到所述目标源组件反馈的确认消息时，重新发送处理后的所述源数据至所述目标源组件。

本申请第二方面提供了一种数据处理方法，包括：

目标源组件进行初始化，生成目标源数据交换协议；

所述目标源组件在接收到数据处理器发送的处理后的源数据后，基于所述目标源数据交换协议将处理后的所述源数据写入至对应的目标源；

其中，处理后的所述源数据为所述数据处理器对数据源组件发送的从数据源中获取的源数据处理后得到的。

可选的，所述目标源数据交换协议包括：写入逻辑、目标源交换协议和目标地址；

所述目标源组件在接收到数据处理器发送的处理后的源数据后，基于所述目标源数据交换协议将处理后的所述源数据写入至对应的目标源，包括：

所述目标源组件在接收到数据处理器发送的处理后的源数据后，将处理后的所述源数据放入缓冲区，使得所述目标源组件中的各个目标源实例从所述缓冲区中获取处理后的所述源数据，并基于所述目标源交换协议将处理后的所述源数据解析成对应的目标源可执行逻辑，以及根据所述写入逻辑和所述目标地址，将处理后的所述源数据写入对应的目标源。

可选的，还包括：

所述目标源组件在成功写入数据后，发送确认消息至所述数据处理器。