[发明专利]国际运价数据的存储方法和系统

说明书

本发明公开了一种国际运价数据的存储方法和系统，该存储方法包括：合并ATPTO新发出的FTP文件；解析合并的所述FTP文件；将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；发送一消息至一数据分发模块，所述数据分发模块验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；各节点判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。本发明极大地节省了空间开销，解决了数据访问延迟的缺陷，在接受数据更新滞后前提下，保证了数据的新鲜度和报价准确度。

技术领域

本发明涉及一种国际运价数据的存储方法和系统。

背景技术

国际运价计算面临三大挑战：如何提供全航线有竞争力的价格、如何保证国际运价数据更新的准确及时以及如何提供高性能低成本的服务。

在国际机票运价、销售及搜索整个链路中，ATPCO(Airline Tariff PublishingCompany)是全球最大的国际运价服务商之一，负责提供全球航空线路的运价数据，再将该运价数据分发给不同的在线旅游代理商OTA(Online Travel Agency)。随着时间的推移，国际运价数据量逐年快速增长，这对OTA的技术能力提出了更高的要求。当前全球有效运价数据超过1亿条，平均每天需要更新几十万条运价，而平均每小时则需更新1W多条运价和对应的规则，可见保证运价数据更新得及时准确面临着严峻的挑战。

如何将运价拆分为不同的价格单元是一个NP完全问题(Non-deterministicPolynomial，多项式复杂程度的非确定性问题)。但是为了提供更有竞争力的价格，尽管多价格单元的报价计算提升竞争优势，但和单价格单元相比，其计算复杂度呈指数级增长。

国际运价的计算量大，常用的分布式缓存系统，如Redis(键值存储系统)和Memcached(分布式内存对象缓存系统)，但网络延迟成为计算瓶颈，通常不适合作为运价存储系统。国际运价数据量通常50GB左右，计算过程中IO(输入输出)非常容易成为计算瓶颈。近年来，固态存储介质的出现，使存储的吞吐量和延迟性能得到极大的改善。一般的关系型数据库广泛作为应用数据的存储方案，但是，基于B-Tree(多路搜索树)存储引擎的内存数据库的空间利用率相对较差，B-Tree以page(页)作为最小存储单元，page存储过程中对齐和填充问题，引起其空间增强表现较差。

ATPCO文件以FTP(File Transfer Protocol，文件传输协议)文本文件的形式分发到不同的在线旅游代理商OTA，文本形式可读性较好，但是不利于计算机处理，和业界通用的二进制序列化方式如Protobuf(一种数据交换格式)或Thrift(一种软件框架)相比，相同数据大约增大33％左右。Protobuf存储结构中，为了保证其向后和向前兼容，Protobuf需要存储不同属性的标签、类型和长度等信息。然而运价数据单表常常涉及上百个维度，序列化标签、类型和长度会占用大量空间。

发明内容

本发明要解决的技术问题是为了克服现有技术中OTA对于国际运价的存储存在空间利用率差、数据访问延迟、数据更新速度慢的缺陷，提供一种国际运价数据的存储方法和系统。

本发明是通过以下技术方案解决上述技术问题的：

一种国际运价数据的存储方法，其特点在于，包括：

S₁、合并ATPTO新发出的FTP文件；

S₂、解析合并的所述FTP文件；

S₃、将解析的所述FTP文件生成NSD文件(一种二进制索引文件)，并将所述NSD文件存储至一分布式文件系统中；