[发明专利]传帐类交易文件的批处理系统、处理方法、介质和设备

说明书

本发明提供了传帐类交易文件的处理系统、处理方法、介质和设备，该方法包括：将原始文件按照预设分片数N和预设切割规则进行切割处理，得到N个包含不同交易场景的分片文件，分别对分片文件进行标准化处理，获得不同交易场景的标准数据结构，并存储在与分片文件对应的缓存分区中；将缓存分区中的不同交易场景的标准数据结构按照业务处理的时间顺序构建交易链路，生成具有顺序属性的交易链路集合，并存储在分片文件对应的缓存分区中；按照交易链路集合中的交易链路执行业务处理。本发明能够充分利用多资源计算的并行处理能力，通过对非标数据和标准数据处理的伸缩性设计，解决了多机器分摊计算压力的问题，和大数据高并发处理的吞吐性问题。

技术领域

本发明涉及消费金融交易技术领域，尤其涉及一种传帐类交易文件的批处理系统、处理方法、介质和设备。

背景技术

在当前的银行业务系统中，工作人员在前端上传一个批量文件，需要后台系统对文件中的记录进行逐条处理，并返回所有明细处理结果，在研发过程中，发明人发现现有技术中至少存在如下问题：

由于贷款进件的交易数据协议不同，导致处理这些差异与通用流程没有抽离出来，致使代码实现复杂、逻辑混乱、管理和维护难度大、交付质量差、交付时间严重滞后等问题；

现有针对客户贷款核算的处理，是基于步骤驱动的处理流程（process-step），即按规划的每一步骤阶段处理所有贷款数据，如果因为该步骤内某一客户贷款数据错误，而导致所有贷款必须等待全部成功才能进入下一步骤，这种设计严重降低了单位时间内处理的吞吐量，又增加了大量后续计算资源的等待时间；

在大数据高并发的场景下，除了以上提到的技术问题外，通过将中间处理数据持久化到数据库的方式，也严重消耗了网络连接、数据库连接等昂贵资源，严重影响了处理的效率。

发明内容

有鉴于此，本发明实施例的目的在于提供一种传帐类交易文件的批处理系统、处理方法、介质和设备，以解决现有技术代码实现复杂、吞吐量低和耗费资源的技术问题。

为了达到上述目的，第一方面，本发明实施例提供了一种传帐类交易文件的处理方法，包括如下步骤：

将原始文件按照预设分片数N和预设切割规则进行切割处理，得到N个包含不同交易场景的分片文件，其中，N为正整数；

分别对所述分片文件进行标准化处理，获得不同交易场景的标准数据结构，并存储在与所述分片文件对应的缓存分区中；

将所述缓存分区中的不同交易场景的标准数据结构按照业务处理的时间顺序构建交易链路，生成具有顺序属性的交易链路集合，并存储在所述分片文件对应的缓存分区中；

按照所述交易链路集合中的交易链路执行业务处理。

在一些可能的实施方式中，将原始文件按照预设分片数N和预设切割规则进行切割处理，得到N个包含不同交易场景的分片文件，具体包括：

根据原始文件的大小设置分片数N，根据所述分片数N对所述原始文件进行切割；

将所述原始文件中每个交易场景按照借据号或者客户名称进行哈希值取模的方式获得每个交易场景的分片索引；

按照所述分片索引确定所述原始文件中每个交易场景对应的分片文件，得到N个包含不同交易场景的分片文件。

在一些可能的实施方式中，所述的分别对所述分片文件进行标准化处理，获得不同交易场景的标准数据结构，并存储在与所述分片文件对应的缓存分区中，具体包括：

根据文件切割完毕标识监控文件切割处理的状态；

文件切割完毕后，分别对每一个分片文件进行解析处理，得到不同交易场景的原始数据结构，对所述原始数据结构进行拦截校验，如果校验出所述原始数据结构的格式错误，则立即终止解析；