[发明专利]一种海量开票数据实时存储和大规模并行访问方法及系统

说明书

本发明公开了一种海量开票数据实时存储和大规模并行访问方法及系统，所述方法包括获取MySQL数据库中海量开票数据；根据Canal实时同步所述海量开票数据至crateDB数据库；通过所述crateDB数据库实现所述海量开票数据实时存储、相关发票查询、明细导出等高并行访问。本发明所公开的方法，使用crateDB数据库集群提高了数据存储量，支持大规模并行访问快速查询，与开票系统代码的兼容性强；使用Canal既能确保数据的一致性、及时性，也能做到代码无侵入的方式；配合Zookeeper集群，开启多个Canal的server端、client端，支持高可用部署，提升了服务的稳定性；所述发明能够满足云开票系统存储海量数据和高并行访问并且实时数据查询的需求。

技术领域

本发明涉及数据存储和访问领域，更具体地，涉及一种海量开票数据实时存储和大规模并行访问方法及系统。

背景技术

随着互联网技术的高速发展，越来越多的业务采用云处理的方式进行。目前，云开票系统中的用户和开票量十分庞大，开票系统中需要保存大量的客户信息、商品信息，还要实现海量发票数据实时存储，并支持大规模并行访问快速查询。

现在的系统中多使用传统的数据库比如MySQL，虽然有性能卓越、服务稳定、支持多种开发语言等特点，但是随着数据量的快速增长，从GB到TB到PB，对数据的各种操作也是愈加的困难，无法满足快速查询与插入数据的需求。后来出现的noSQL数据库，放弃了传统SQL的强事务保证和关系模型，重点放在数据库的高可用性和可扩展性，不保证强一致性，对于普通应用没问题，但还是有不少像金融一样的企业级应用有强一致性的需求，而且noSQL不支持SQL语句，代码的兼容性是个大问题，不同的noSQL数据库都有自己的api操作数据，比较复杂。

因此，如何实现海量发票数据实时存储，并支持大规模并行访问快速查询成为如今亟待解决的难题。

发明内容

为了解决背景技术存在的现有技术难以实现海量发票数据实时存储并支持大规模并行访问快速查询的问题，本发明提供了一种海量开票数据实时存储和大规模并行访问方法，所述方法包括：

获取MySQL数据库中所述海量开票数据；

根据Canal实时同步所述海量开票数据至crateDB数据库；

通过所述crateDB数据库实现所述海量开票数据实时存储和大规模并行访问。

进一步的，所述获取MySQL数据库中的海量开票数据包括：

通过监听MySQL的binlog日志获取所述海量开票数据。

进一步的，在获取MySQL数据库中所述海量开票数据前还包括：

建立Zookeeper集群，所述Canal在所述Zookeeper集群下运行。

进一步的，包括M个所述Canal、N个所述crateDB数据库；所述M、N为正整数。

进一步的，在获取MySQL数据库中所述海量开票数据之后，根据Canal实时同步所述海量开票数据至crateDB数据库前，还包括：

通过所述Canal对所述海量开票数据进行清洗、转换以及聚合。

一种海量开票数据实时存储和大规模并行访问系统，所述系统包括：

数据获取单元，所述数据获取单元一端与数据转换单元相连接；所述数据获取单元用于获取MySQL数据库中所述海量开票数据，并将所述海量开票数据发送至所述数据转换单元；所述数据获取单元采用包括Canal；

数据转换单元，所述数据转换单元一端与数据接收单元相连接；所述数据转换单元采用包括Canal，其用于实时同步所述海量开票数据至所述数据接收单元；