[发明专利]数据处理方法及装置

说明书

本申请公开了数据处理方法及装置、电子设备、计算机存储介质，将存储系统中的数据存入待处理队列；将所述待处理队列中的数据组合成一个或多个数据集合；每个所述数据集合包括多条数据；调用接口，批量处理所述数据集合中的数据。将数据信息的处理从同步改成异步，从存储系统中读取数据并插入待处理队列中，将待处理队列中的数据组合成多条数据的数据集合，调用接口批量处理数据集合中的数据，由此大大减少了调用接口的次数，减小数据库压力，提高单位时间的数据处理量，提高数据处理效率，满足数据处理的时效性需求，可提升CPU使用率、系统稳定性及数据安全性，让系统稳定、高效、有序地处理海量数据，每天稳定处理巨大的数据量。

技术领域

本申请涉及数据处理技术领域，尤其涉及数据处理方法及装置、电子设备、计算机存储介质。

背景技术

现今大数据时代，物流、电商、互联网等行业经常面临处理海量数据的情况，在对海量数据进行处理的过程中，往往需要考虑处理数据时数据重复及高并发等情况，通常做法是遍历导入数据，查询数据库去重后，将数据存入数据库中，然后再次遍历数据进行数据处理，最后将处理后的数据和数据结果储存起来。

现有技术在对数据进行处理的过程中，大多是针对单条数据进行处理，通常处理每条数据都需要调用一次接口，数据量越大时给数据库造成的压力越大。随着业务快速发展，需要处理的数据越来越多，频繁的查库去重、单位时间的数据处理量剧增、数据处理时效性的苛刻要求，都对技术、甚至数据隐私安全，带来巨大的考验。

发明内容

本申请的目的在于提供数据处理方法及装置、电子设备、计算机存储介质，解决现有技术的不足，对数据进行批量处理，调用一次接口处理多条数据，减少调用接口的次数，减小数据库压力，克服因单位时间内导入数据量过大导致数据处理超时的问题。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种数据处理方法，所述方法包括：

将存储系统中的数据存入待处理队列；

将所述待处理队列中的数据组合成一个或多个数据集合；每个所述数据集合包括多条数据；

调用接口，批量处理所述数据集合中的数据。

将数据信息的处理从同步改成异步，从直接操作存储系统改为对待处理队列中的数据进行处理，从存储系统中读取数据并插入待处理队列中，将待处理队列中的数据组合成多条数据的数据集合，调用接口批量处理数据集合中的数据，由此大大减少了调用接口的次数，减小数据库压力，提高单位时间的数据处理量，提高数据处理效率，满足数据处理的时效性需求，将该方法应用于数据处理系统，可提升CPU使用率、系统稳定性及数据安全性，让系统稳定、高效、有序地处理海量数据，每天稳定处理巨大的数据量。

可选地，所述调用接口，批量处理所述数据集合中的数据，包括：

调用所述接口，通过多个进程批量处理所述数据集合中的数据。

开启多进程消耗待处理队列中的数据，提高单位时间的数据处理效率。

可选地，所述方法还包括：

将处理失败的数据重新存入所述待处理队列并延时处理。

将处理失败的数据重新插入去重后的数据中，由此开启一个循环处理，保证处理失败的数据能够被再次处理。采用延时处理，避免出现上一批次数据卡顿未处理完成，异步程序调用下一批次数据，两段程序处理数据库同一条数据时造成锁表的情况。

可选地，所述方法还包括：

将处理失败的数据对应的错误类型存储至所述存储系统。

对处理失败的错误类型进行记录，便于了解处理失败的原因以及有针对性地根据错误类型解决处理失败的情况。