[发明专利]一种交易数据的处理系统、处理方法、介质和设备

权利要求书

1.一种交易数据的处理方法，其特征在于，所述方法包括：

步骤1：通过数据切割服务集群中的多个数据切割服务器对原始交易数据进行分片处理，将所述原始交易数据切割成多片子原始交易数据，并存储在共享磁盘对应的目录中；其中，每个数据切割服务器对应于原始交易数据中的一种类型的交易数据，所述原始交易数据与交易场景相关联；

步骤2：通过数据标准化服务集群监听并消费所述共享磁盘中的每片子原始交易数据，将所述每片子原始交易数据构建成具有顺序属性的交易链路数据，获得交易链路数据集合，并将所述交易链路数据集合写入第一消息队列集群中对应的缓存分片区；其中，每片子原始交易数据以借据号为单位；

步骤3：通过标准数据分发服务集群监听并消费所述第一消息队列集群中对应的缓存分片区中的交易链路数据集合，将所述交易链路数据集合中的数据分发至第二消息队列集群中对应的缓存分片区，得到多片子交易链路数据集合，并监听分发结果；

步骤4：当分发结果为分发完毕后，通过第一交易数据处理服务集群监听并消费分发至第二消息队列集群中的缓存分片区中的子交易链路数据集合，按照子交易链路数据集合中的交易步骤执行数据处理并将执行数据处理的结果持久化至数据库；

其中，步骤1具体包括：

步骤1.1：启动切割任务定时器，当满足切割条件时，所述切割任务定时器触发数据切割服务集群对原始交易数据进行切割；

步骤1.2：所述数据切割服务集群按照哈希取模的方式获得每行原始交易数据的分片索引；

步骤1.3：所述数据切割服务集群根据所述分片索引将每行原始交易数据分别写入共享磁盘对应的目录中，得到多片子原始交易数据；

其中，步骤2具体包括：

步骤2.1：数据标准化服务集群监听并消费所述共享磁盘中的每片子原始交易数据，对每片子原始交易数据进行标准化处理，得到标准交易数据；

步骤2.2：数据标准化服务集群对所述标准交易数据进行完整性校验；

步骤2.3：数据标准化服务集群将校验合格的标准交易数据构建成具有顺序属性的交易链路数据集合；

步骤2.4：数据标准化服务集群将所述交易链路数据集合缓存在对应的第一消息队列集群中的缓存分片区；

其中，步骤3具体包括：

步骤3.1：标准数据分发服务集群监听并消费所述第一消息队列集群中对应的缓存分片区中的交易链路数据集合；

步骤3.2：所述标准数据分发服务集群对每个缓存分片区中的交易链路数据集合按照哈希取模的方式获得每行数据的分片索引；其中，每行数据的分片索引＝散列(借据号)％缓存分片区数量；

步骤3.3：所述标准数据分发服务集群按照所述分片索引将每行数据分发至第二消息队列集群中对应的缓存分片区，得到多片子交易链路数据集合；

步骤3.4：所述标准数据分发服务集群监听分发结果，直至分发完毕；

其中，所述步骤4具体包括：

步骤4.1：当监听到分发结果为分发完毕后，第一交易数据处理服务集群监听并消费每片子交易链路数据集合；

步骤4.2：所述第一交易数据处理服务集群将一个或多个交易步骤的数据分别写入第三消息队列集群中对应的缓存分片区，获得一个或多个交易步骤的多个分片数据，并对未被分片的交易步骤执行数据处理。

2.根据权利要求1所述的方法，其特征在于，步骤2.3还包括：

当所述标准交易数据的校验结果为不合格时，所述数据标准化服务集群返回步骤2.1重新对校验不合格的标准交易数据对应的原始交易数据进行标准化处理。

3.根据权利要求1所述的方法，其特征在于，在所述步骤4.2之后还包括：

步骤4.3：第二交易数据处理服务集群分别从所述第三消息队列集群中对应的缓存分片区中获取分片数据并执行数据处理，将执行数据处理的结果返回至所述第一交易数据处理服务集群；

步骤4.4：所述第一交易数据处理服务集群对执行数据处理的结果持久化至数据库。