[发明专利]基于USAS主机的实时数据传输通道及其实时数据传输方法

说明书

技术领域

本发明涉及一种基于USAS主机的实时数据传输通道TFCT。

背景技术

如今，每天有数十万的旅客通过中国航信的旅客分销系统预订航班座位、生成电子客票。中国航信USAS主机系统内通常都维护着上千万旅客的订座信息、出票信息等。如此海量的数据都被保存在USAS主机多个数据文件中，这些数据文件需要同时支持实时业务处理(出票、退票和改签等)和旅客数据查询。为了减轻USAS主机的负担，并为行业客户提供优质的数据服务，这些保存在主机系统数据文件中的信息记录可以被实时的传送到开放平台的数据库中，成为主机数据的一个开放平台数据镜像，并与主机数据实现同步更新。方便航空公司或者销售人员查询，更进一步的挖掘和分析这些数据的市场价值。

所谓“USAS主机系统”，是指Unisys公司开发的一种处理实时民航业务的大型主机系统，其中包含了订座系统和离港系统，分别处理旅客的订座出票等业务和机场值机配载等业务；所谓“开发平台”，是指采用Windows，Linux操作系统，并使用Oracle数据库等存储数据的计算机环境；所谓“OLTP”，是指Unisys公司开发的一种跨平台、分布式的事务处理消息传递工具，用于在主机系统之间以及主机与开放平台之间的数据传输；

目前主机系统内主要采取基于OLFP技术的客尸-服务器模式向开放平台传输实时数据，这种模式直接受限与技术本身的开销和系统负载处理能力，通常无法保障稳定的大数据流的实时主机数据传输。以旅客信息更新为例，当前航信主机系统内，高峰时每秒就有140次旅客信息变更，而且这个峰值数据还在以每年20％的幅度递增。OLTP技术是无法满足此类大数据流的数据传输的。另外，客户-服务器模式的数据传输一旦失败，随着主机事务的结束，数据必定会丢失，没有第二次重试的机会。

如图1所示，在传统的OLTP数据发送过程中，主机与开放平台之间的连接通道是不稳定的，数据发送过程是不确定并且非常耗费资源的。一旦在事务的过程中嵌入OLTP数据传送，不但事务的处理时间将会变长，而且还必须承担数据发送失败后的风险，无法控制数据发送重试和数据备份。一个处理事务如果占用的系统资源过多，将会严重影响系统性能和响应时间。

基于这样的背景下，中国航信开发了新型的跨平台的数据发送通道——TFCT。以旅客信息变更为例，旅客信息记录生成或者发生变更的时候，除了立即被存储在USAS主机数据文件中，还会把该数据在主机数据文件中的地址发送到TFCT通道队列中，通过TFCT通道将该数据地址内存储的旅客信息传送到开放平台。USAS主机内像旅客信息记录这样需要实时同步到开放平台的数据服务还有很多，都可以通过TFCT通道进行处理。

发明内容

本发明的实时数据传输通道TFCT由数据索引系统和数据输入输出系统构成，包括：数据输入模块；数据输出模块；数据索引模块。

其中，所述数据输入模块嵌入在一个指定数据内容更新的事务中，将发生变更的数据内容的全部或者部分写入实时数据传输通道TFCT的数据队列中。一旦成功写入，则返回到原来的事务中继续处理后续的工作。

所述的数据输出模块主要由一个常驻内存的后台处理程序进行监控和调度，数据输出模块中常驻内存的后台处理程序周期性的循环扫描所有的数据队列，一旦扫描到某个数据队列，就会调度一个子进程来处理这个数据队列中的排队数据，而后台程序本身则继续扫描其他的数据队列。为了避免与数据输入模块发生资源争夺，只有在获取了索引表控制权的前提下，处理数据的子进程才能顺利处理排队数据。数据输出模块中的后台扫描程序可以调度多个处理数据的子进程，并行数据处理。并发度由通道内的规定的数据带宽来决定。运行中的子进程处理完所有的排队数据，或者处理的数据总数达到系统规定的上限后，结束进程处理，等待下一次调度。

所述被调度起来的子进程则进一步判断当前的数据队列中是否有等待处理的排队数据；如果有排队数据，则提取出数据，调用指定的数据发送程序将数据内容发送至目的地系统；根据数据处理的结果，如果发送成功，子进程会将排队数据从数据队列中删除，并继续处理下一个数据；如果发送失败，则实施错误处理机制，安排重新发送，或者将数据从当前位置上删除，补充到数据队列的末尾，或者直接删除该数据；至于采取何种错误处理机制，是由应用设置的运行参数决定；当数据队列中的所有排队数据都处理完毕，或者达到了系统要求的数据处理总数，子进程则可以退出执行。