[发明专利]流水线多进程之间基于消息队列的海量数据传输方法

摘要

流水线多进程之间基于消息队列的海量数据传输方法，在计费产品业务处理流程中一条话单顺序通过至少分为格式化、规整(或者称为分拣)、排重、批价、入库多个进程，计费方法采用单步与整体提交相结合的机制，通过配置来实现在不同环境下采用不同消息队列类型自动分配任务，负载均衡管理，将话单分发至不相同的消息队列，根据业务逻辑，自定义方式进行部署。采用本发明方法实现的计费系统海量的话单数据在进程间的传输，全部通过消息队列，处理过程可以在内存里面实现，没有系统IO的开销，速度大大提高。采用基于消息队列的流水线并行处理技术方案的系统处理效率明显提高。处理速度在国内外计费厂家中名列前茅。

主权项

1、流水线多进程之间基于消息队列的海量数据传输方法，在计费产品业务处理流程中一条话单顺序通过至少分为格式化、规整(或者称为分拣)、排重、批价、入库多个进程，计费方法采用单步与整体提交相结合的机制：格式化作为计费流程的源头，将一个文件内的话单根据分发规则分发到不同的后续流程的规整进程里面，当结束一个文件格式化的时候，格式化进程发送此文件结束信号给各个后续的规整进程；每个规整进程接收到一个文件结束信号，就进行本进程的单步提交，说明此进程已经处理完毕输送到本流程的此文件的所有话单；然后规整进程将结束信号送给下一步的排重进程，排重进程同样的处理机制，进行单步提交；排重进程和批价进程也是同样处理方式；批价进程再将结束信号送给入库进程，入库进程进行单步提交；只有当格式化将结束信息输送的所有流程的入库进程对这个文件进行提交完毕，系统才进行这个文件的整体提交；如果系统在处理过程中，需要中断，这个时候一个文件在整个流水线中没有处理完毕，那么计费进程采用不精确/模糊断点；不精确/模糊断点是指当发生中断后，计算机并不立即响应中断，而是等待一个文件中的所有话单完毕，才响应该中断；如果系统发生异常宕机，那么系统重新启动的时候，系统自动发现有哪些文件入库进程前的进程已经提交，但是流水线最终进程入库进程没有对这个文件进行提交，那么说明这个文件在处理过程中存在问题，就进行告警；文件级回退需要对整个文件在计费系统中各处留下的痕迹进行清理，是计费过程的逆向操作，恢复到最初状态。