[发明专利]数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

通过数据查询线程，从目标任务队列中获取目标任务，并查询所述目标任务对应的待处理数据，所述目标任务队列为分布式任务队列中的任意一个任务队列，每个所述任务队列包括至少一个接收到的数据任务；

通过数据处理线程，从目标数据队列中获取目标数据，并处理所述目标数据，以完成相应的数据任务，所述目标数据队列为分布式数据队列中的任意一个数据队列，每个所述数据队列包括至少一个由所述数据查询线程查询到的待处理数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述数据查询线程查询到的待处理数据添加到所述分布式数据队列中。

3.根据权利要求2所述的方法，其特征在于，所述将数据查询线程查询到的待处理数据添加到所述分布式数据队列之前，所述方法还包括：

获取所述待处理数据的数据标识和对应的任务标识；

根据所述数据标识判断所述分布式数据队列中是否存在与所述待处理数据相同的数据；

如果所述分布式数据队列中存在与所述待处理数据相同的数据，则判断相同的两个待处理数据所分别对应的任务标识是否一致；

如果所述相同的两个待处理数据所分别对应的任务标识一致，则丢弃所述待处理数据；

如果所述分布式数据队列中不存在与所述待处理数据相同的数据，则将所述待处理数据添加到所述分布式数据队列中。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收数据任务；

将接收到的所述数据任务添加到所述分布式任务队列中。

5.根据权利要求4所述的方法，其特征在于，所述将接收到的所述数据任务添加到所述分布式任务队列之前，所述方法还包括：

获取所述数据任务的任务标识；

根据所述任务标识判断所述数据任务在所述分布式任务队列中是否存在；

如果所述数据任务在所述分布式任务队列中不存在，则将所述数据任务添加到所述分布式任务队列中。

6.根据权利要求1所述的方法，其特征在于，所述查询目标任务对应的待处理数据，包括：

根据所述目标任务执行至少两次查询；

当相邻两次查询的查询结果存在变化时，则执行下一次查询；

当相邻两次查询或者连续多次查询的查询结果保持不变时，确定最后一次查询到的数据为所述目标任务对应的待处理数据。

7.根据权利要求1所述的方法，其特征在于，所述处理所述目标数据，包括：

通过所述数据处理线程处理所述目标数据，以执行所述目标数据对应的数据任务；

根据所述数据处理线程的返回值确定所述数据任务是否执行完成。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监测正在运行的线程的线程个数，所述正在运行的线程包括所述数据查询线程和/或所述数据处理线程；

当监测到正在运行的线程的线程个数达到预设个数时，停止开启新的所述数据查询线程和数据处理线程，直到所述线程个数低于所述预设个数时，恢复对新的数据查询线程和数据处理线程的开启。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监测正在运行的每个线程的处理速度，所述正在运行的线程包括所述数据查询线程和/或所述数据处理线程；

当监测到正在运行的线程的处理速度达到预设速度时，控制所述线程暂停运行，直到进入到下一个时间块时，控制所述线程恢复运行。