[发明专利]一种数据处理方法、装置、设备、系统及可读存储介质

说明书

本发明公开了一种数据处理方法、装置、设备、系统及可读存储介质，涉及数据处理技术领域，以提高服务器资源的利用率。该方法包括：根据预配置信息进行初始化；根据初始化的结果，触发所述第一数据处理组件的目标进程从中间件Redis获取目标启动密钥，并在获取到目标启动密钥的情况下，从所述中间件Redis提取待处理数据，以对所述待处理数据进行处理，所述目标进程为所述第一数据处理组件包括的任一进程。本发明实施例可以提高服务器资源的利用率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备、系统及可读存储介质。

背景技术

随着AI(Artificial Intelligence，人工智能)技术的崛起，算法模型训练完成之后需要大量的验证数据、以及复杂验证流程来完成对模型各个维度的性能、准确率等指标的验证。

跑批指的是将要处理的数据积攒成“批”，在指定时间一次性进行处理。跑批也可称为批处理。现有的跑批方式需要借助本地分片、mq(Message Queue，消息队列)实现分布式跑批。但是，现有的跑批处理方式无法最大化的利用服务器资源。

发明内容

本发明实施例提供一种数据处理方法、装置、设备、系统及可读存储介质，以提高服务器资源的利用率。

第一方面，本发明实施例提供了一种数据处理方法，应用于第一数据处理组件，所述第一数据处理组件包括至少一个进程；所述方法包括：

根据预配置信息进行初始化；

根据初始化的结果，触发所述第一数据处理组件的目标进程从中间件Redis(Remote Dictionary Server，远程字典服务器)获取目标启动密钥，并在获取到目标启动密钥的情况下，从所述中间件Redis提取待处理数据，以对所述待处理数据进行处理；

所述目标进程为所述第一数据处理组件包括的任一进程。

第二方面，本发明实施例还提供一种数据处理方法，应用于第一初始化组件；所述方法包括：

获取待处理的数据以及预配置信息；

向第一数据调度组件发送所述待处理数据，以使所述第一数据调度组件将所述待处理数据存储到中间件Redis中；

根据所述预配置信息对第一数据处理组件进行初始化。

第三方面，本发明实施例还提供一种数据处理方法，所述方法包括：

根据预配置信息对数据处理组件进行初始化；

根据初始化的结果，触发所述数据处理组件的目标进程从中间件Redis获取目标启动密钥；

所述目标进程在获取到目标启动密钥的情况下，从所述中间件Redis提取待处理数据，对所述待处理数据进行处理；

所述目标进程为所述数据处理组件包括的任一进程。

第四方面，本发明实施例提供一种数据处理装置，应用于第一数据处理组件，所述第一数据处理组件包括至少一个进程；所述装置包括：

第一初始化模块，用于根据预配置信息进行初始化；

第一触发模块，用于根据初始化的结果，触发所述第一数据处理组件的目标进程从中间件Redis获取目标启动密钥，并在获取到目标启动密钥的情况下，从所述中间件Redis提取待处理数据，以对所述待处理数据进行处理；

所述目标进程为所述第一数据处理组件包括的任一进程。

第五方面，本发明实施例提供一种数据处理装置，应用于第一初始化组件；所述装置包括：

第一获取模块，用于获取待处理的数据以及预配置信息；