[发明专利]一种海量开票数据实时存储和大规模并行访问方法及系统

权利要求书

1.一种海量开票数据实时存储和大规模并行访问方法，其特征在于，所述方法包括：

获取MySQL数据库中所述海量开票数据；

根据Canal实时同步所述海量开票数据至crateDB数据库；

通过所述crateDB数据库实现所述海量开票数据实时存储和大规模并行访问。

2.根据权利要求1所述的方法，其特征在于，所述获取MySQL数据库中的海量开票数据包括：

通过监听MySQL的binlog日志获取所述海量开票数据。

3.根据权利要求1所述的方法，其特征在于，在获取MySQL数据库中所述海量开票数据前还包括：

建立Zookeeper集群，所述Canal在所述Zookeeper集群下运行。

4.根据权利要求3所述的方法，其特征在于：

包括M个所述Canal、N个所述crateDB数据库；所述M、N为正整数。

5.根据权利要求1所述的方法，其特征在于，在获取MySQL数据库中所述海量开票数据之后，根据Canal实时同步所述海量开票数据至crateDB数据库前，还包括：

通过所述Canal对所述海量开票数据进行清洗、转换以及聚合。

6.一种海量开票数据实时存储和大规模并行访问系统，其特征在于，所述系统包括：

数据获取单元，所述数据获取单元一端与数据转换单元相连接；所述数据获取单元用于获取MySQL数据库中所述海量开票数据，并将所述海量开票数据发送至所述数据转换单元；所述数据获取单元采用包括Canal；

数据转换单元，所述数据转换单元一端与数据接收单元相连接；所述数据转换单元采用包括Canal，其用于实时同步所述海量开票数据至所述数据接收单元；

数据接收单元，所述数据接收单元采用包括crateDB数据库，其用于接收所述海量开票数据，并实现所述海量开票数据实时存储和大规模并行访问。

7.根据权利要求6所述的系统，其特征在于，所述获取MySQL数据库中的海量开票数据包括：

通过监听MySQL的binlog日志获取所述海量开票数据。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括：

协调控制单元，所述协调控制单元一端分别与所述数据获取单元及所述数据转换单元相连接；所述协调控制单元采用包括Zookeeper集群；所述协调控制单元用于协调控制所述Canal。

9.根据权利要求8所述的系统，其特征在于：

所述系统包括M个所述Canal、N个所述crateDB数据库，所述M、N为正整数。

10.根据权利要求6所述的系统，其特征在于：

所述数据转换单元还用于对所述海量开票数据进行清洗、转换以及聚合。