[发明专利]数据处理框架的实现方法、装置、设备及计算机存储介质

说明书

本发明公开了一种数据处理框架的实现方法、装置、设备及计算机存储介质，涉及金融科技技术领域。该方法包括：创建目标序列号生成器；创建目标序列号生成器工厂类，继承Spring Batch的默认序列号生成器工厂类，并重写目标序列号生成器工厂类中继承的getIncrementer方法，以将继承的getIncrementer方法中的MySQL序列号生成器替换为目标序列号生成器；创建目标配置器类，继承Spring Batch的默认配置器类，并重写目标配置器类中继承的createJobRepository方法，以指定序列号生成器工厂类为目标序列号生成器工厂类。本发明能够避免序列号生成失败的问题、以实现在TiDB上运行Spring Batch。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种数据处理框架的实现方法、装置、设备及计算机存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

目前，互联网银行的任务处理系统，通常面临着海量的数据需要处理，对此，行业内通常在数据库上运行数据处理框架Spring Batch(批处理框架)来进行处理。但是传统关系型数据库的横向扩展性差，当遇到大量任务和海量数据需要处理时，数据库很可能成为瓶颈。而TiDB作为一款结合了传统关系型数据库和非关系型数据库特性的新型分布式数据库，可支持无限的横向扩展，同时也兼容MySQL协议和语法，因此，将大量任务和海量数据用TiDB来处理，完全可以解决数据库的瓶颈问题。

然而，在TiDB上运行Spring Batch时，在生成序列号的过程中，Spring Batch会使用相应的表，并在表上执行相关命令来获取序列号。由于TiDB的锁类型为乐观锁，当多个线程对同一个表的同一条记录执行更新操作时，在提交事务时极有可能出现冲突，从而导致序列号生成失败，影响Spring Batch的正常运行。因此，如何避免序列号生成失败的问题、以实现在TiDB上运行Spring Batch是当前亟需解决的问题。

发明内容

本发明的主要目的在于提供一种数据处理框架的实现方法、装置、设备及计算机存储介质，旨在避免序列号生成失败的问题、以实现在TiDB上运行Spring Batch。

为实现上述目的，本发明提供一种数据处理框架的实现方法，所述数据处理框架的实现方法包括：

基于预设方法创建得到目标序列号生成器；

创建目标序列号生成器工厂类，继承Spring Batch框架的默认序列号生成器工厂类，并重写所述目标序列号生成器工厂类中继承的getIncrementer方法，以将继承的getIncrementer方法中的MySQL序列号生成器替换为所述目标序列号生成器；

创建目标配置器类，继承所述Spring Batch框架的默认配置器类，并重写所述目标配置器类中继承的createJobRepository方法，以指定序列号生成器工厂类为所述目标序列号生成器工厂类。

可选地，所述基于预设方法创建得到目标序列号生成器的步骤包括：

创建目标序列号生成器，继承所述Spring Batch框架的MySQL序列号生成器，并重写所述目标序列号生成器中继承的getNextKey方法，以循环调用所述MySQL序列号生成器的getNextKey方法。

可选地，所述创建目标序列号生成器，继承所述Spring Batch框架的MySQL序列号生成器的步骤之后，还包括：

重写所述目标序列号生成器中继承的getCacheSize方法，以将序列号缓存数量设定为一预设值，其中，所述预设值大于1。

可选地，所述基于预设方法创建得到目标序列号生成器的步骤包括：