[发明专利]数据处理方法、装置、介质及电子设备

说明书

本发明提供了一种数据处理方法，包括：获取线程池中每个线程的数据集；根据所述每个线程的业务逻辑对所述每个线程的数据集进行处理：当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据，并对所述异常数据进行标注；按照预设的数据库操作类型将处理后的数据集的数据分别添加到相应的队列，这样可以准确快速的定位到数据集的异常数据，有效地避免了如果吞掉异常数据，则难保证数据的一致性，并且会对整个该队列批量提交的数据产生影响的缺陷。本发明还提供了一种数据处理装置、介质以及电子设备。

技术领域

本发明涉及数据处理的技术领域，具体而言，涉及一种数据处理方法、装置、介质及电子设备。

背景技术

目前，多线程处理框架在大数据量的CPU密集型数据处理场景下可以发挥其并行运算能力，提高数据处理时效，同时在线程内部对关系型数据库存储采用批量提交机制可以更加充分地使用数据库资源，降低I/O等待时间，高效完成数据提交。根据目前的多次试验结果显示批量数据提交模式要比逐条数据处理效率至少提高5倍左右。在高并发中关系型数据库I/O等待是制约数据库性能的瓶颈之一，因此，将批量数据的提交模式集成到多线程处理框架中可以更有效地缓解多线程处理中对数据库的压力、弥补关系型数据库无法横向扩展的不足。

然而批量数据提交集中的事务异常管理是非常重要，如何在效率和异常捕获之间找到平衡是目前使用批量提交的一大难点。在批量数据提交机制中一条数据的异常会导致整个批量的数据单元集事务回滚，如果吞掉异常数据，则难保证数据的一致性，并且会对整个队列批量提交的数据产生影响，进而提高运维的难度和成本。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种数据处理方法、装置、介质及电子设备，进而至少可以在一定程度上定位到数据集中异常的数据，从而避免了如果吞掉异常数据，则难保证数据的一致性，并且会对整个队列批量提交的数据产生影响的缺陷。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种数据处理方法，该方法包括：获取线程池中每个线程的数据集；根据所述每个线程的业务逻辑对所述每个线程的数据集进行处理：当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据，并对所述异常数据进行标注；按照预设的数据库操作类型将处理后的数据集的数据分别添加到相应的队列。

在本发明的一些实施例中，当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据包括：当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分，得到所述数据集的子数据集；根据所述每个线程的业务逻辑对所述数据集的每个子数据集进行处理；循环执行上述两个步骤直到定位到所述数据集的异常数据为止。

在本发明的一些实施例中，在获取线程池中每个线程的数据集之前，该方法还包括：判断所述线程池中线程的数量是否大于预设阈值；如果大于，则停止向所述线程池内添加新的线程。

在本发明的一些实施例中，该方法还包括：按照业务类型对所述线程池中的每个线程进行分类，以确保所述线程池中的多个线程之间在处理数据时相互独立。

在本发明的一些实施例中，所述获取线程池中每个线程的数据集包括：在多线程控制层分发线程时，判断所述线程池中是否存在与即将执行处理任务的线程类型相同的线程；如果存在，且该线程处于运行状态时，按照预设时长校验该线程已处理数据量的变化；根据校验结果，确定所述即将执行处理任务的线程的数据集。