[发明专利]订单数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种订单数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：从交易库中实时获取待同步数据类型对应的订单变化数据流；根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流；使用预设连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流；将订单变化宽表数据流写入历史库的订单表中。采用本方法能够在降低了系统复杂度的同时，有效提高了数据同步的实时性。

技术领域

本申请涉及数据实时处理技术领域，特别是涉及一种订单数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着移动支付行业和零售行业的快速发展，单一业务交易平台的单日订单笔数可突破千万，商户对于支付订单数据的多样需求和数据及时性提出了更高的要求。

传统技术中，订单数据同步通常是使用离线同步工具，以特定频率从交易库中同步订单数据至历史库中，业务系统想要得到完整的订单数据需要整合交易库和历史库两种异构的数据的查询结果，一个订单数据查询功能需要维护实时和历史数据两套查询逻辑，在增加系统复杂度的同时，数据同步的实时性较差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低系统处理复杂度，提高数据同步实时性的订单数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种订单数据处理方法，所述方法包括：

从交易库中实时获取待同步数据类型对应的订单变化数据流；

根据所述订单变化数据流中各订单变化数据的数据标识，对各所述订单变化数据流进行分组操作，得到各所述数据标识对应的子订单变化数据流；

使用预设连接算子对各所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流；

将所述订单变化宽表数据流写入历史库的订单表中。

在其中一个实施例中，所述使用预设连接算子对各所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流，包括：

在预设时间段内通过状态管理机制对各所述数据标识对应的子订单变化数据流进行状态保存；

若在所述预设时间段内，所述数据标识对应有新增子订单变化数据流，则将所述新增子订单变化数据流与所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流。

在其中一个实施例中，所述将所述订单变化宽表数据流写入历史库的订单表中之前，还包括：

对所述订单变化宽表数据流进行完整性检测，若所述订单变化宽表数据流满足所述完整性检测，则使用预设数据分片写入算子，按照预设规则将所述订单变化宽表数据流写入历史库的订单表中。

在其中一个实施例中，所述对所述订单变化宽表数据流进行完整性检测，包括：

将所述订单变化宽表数据流中各所述子订单变化数据流的数据类型与所述待同步数据类型进行对比，若所述数据类型与所述待同步数据类型一致，则确定所述订单变化宽表数据流满足所述完整性检测；

若数据类型与所述待同步数据类型不一致，则确定所述订单变化宽表数据流不满足所述完整性检测。

在其中一个实施例中，所述方法还包括：

若所述订单变化宽表数据流不满足所述完整性检测，则根据所述数据类型与所述待同步数据类型的比较结果，确定所述订单变化宽表数据流的待补充数据类型；

基于所述待补充数据类型，查找所述交易库的订单表，确定所述待补充数据类型的子订单数据流；