[发明专利]一种后台批量处理业务的优化方法、系统和存储介质

说明书

本发明涉及一种后台批量处理业务的优化方法、系统和存储介质，判断后台业务数据库中是否含有待处理批量业务，若是，则获取后台业务数据库中每个历史处理业务的历史处理信息标签，根据所有历史处理信息标签得到待处理批量业务的单次抓取数据数量；按照单次抓取数据数量抓取目标批量处理业务数据进行批量处理，并将目标处理信息标签存入后台业务数据库中；对待处理批量业务中除开目标批量处理业务数据的剩余部分作为更新后的待处理批量业务，获取更新后的单次抓取数据数量，直至更新后的待处理批量业务完成批量处理。本发明实时自动优化调整单次抓取数据数量，减少人工干预，最大化利用硬件资源，大大优化了后台批量处理业务的性能。

技术领域

本发明涉及后台业务处理技术领域，尤其涉及一种后台批量处理业务的优化方法、系统和存储介质。

背景技术

在通信行业中，例如电信行业，电信行业经过30年的发展，电信行业用户单个省份用户早已突破千万级别，大省多则亿级。用户量基数大导致业务量办理较大。后台批量处理业务是电信行业实现业务受理或变更的较普遍的技术方式之一。如市场部定期推出优惠活动，月初月末用户订购关系退订/续订等场景。

其中，后台批量业务处理，尤其是百万级别以上的业务处理，通常是通过启动对应的后台批量业务进程(多线程)，循环进行业务处理，最终完成所有待处理任务。传统的后台批量处理业务的方法逻辑如图1所示。基于图1所述的后台批量处理业务流程，通常后台进程在读取数据库数据(DB数据)时，单次抓取DB数据条数(即图1中的M值)一般是默认设定值并写死在程序中或配置文件中。

因此，传统的后台业务批量处理方法存在以下问题：

1、由于单次抓取DB数据条数(即M值)一般是默认设定值并写死在程序中或配置文件中，且M值的设定更多依赖于简单测试或历史经验，因此M值为固定值，而M值的大小影响后台进程所占资源，因此M值的设定很可能存在不合理的问题，过大或过小都将导致无法合理利用硬件资源(包括CPU、内存和网络等)；

2、M值的修改，需要启停程序或更新配置文件，依赖于人工干预；

3、由于硬件资源也在动态变化，无法根据最新的硬件资源的情况来实时调整M值，即使调整也需要依赖人工干预。

因此，目前亟需一种后台批量处理业务的优化方法，能解决现有技术中后台批量处理业务数量固定、过度依赖人工干预以及无法最大化利用硬件资源的问题，能实时自动优化调整后台批量处理业务数量，减少人工干预，最大化利用硬件资源，大大优化了后台批量处理业务的性能。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种后台批量处理业务的优化方法、系统和存储介质，解决了现有技术中后台批量处理业务数量固定、过度依赖人工干预以及无法最大化利用硬件资源的问题，大大优化了后台批量处理业务的性能。

本发明解决上述技术问题的技术方案如下：

一种后台批量处理业务的优化方法，包括以下步骤：

步骤1：读取后台业务数据库；

步骤2：判断所述后台业务数据库中是否含有待处理批量业务，若是，则执行步骤3，若否，则返回所述步骤1；

步骤3：获取所述后台业务数据库中的每个历史处理业务一一对应的历史处理信息标签，根据所有所述历史处理信息标签得到所述待处理批量业务的单次抓取数据数量；

步骤4：按照所述单次抓取数据数量，在所述待处理批量业务中抓取目标批量处理业务数据，对所述目标批量处理业务数据进行批量处理，并将所述目标批量处理业务数据对应的目标处理信息标签作为所述历史处理信息标签存入所述后台业务数据库中；

步骤5：将所述待处理批量业务中除开目标批量处理业务数据的剩余部分作为更新后的所述待处理批量业务，并重复所述步骤3至所述步骤4，直至更新后的所述待处理批量业务完成批量处理。