[发明专利]一种高性能的海量数据同步方法及装置

说明书

本发明公开了一种高性能的海量数据同步方法，包括：获取物联网卡的过去状态数据；根据所述过去状态数据，配置数据同步策略；根据所述过去状态数据和数据同步策略，计算同步频率，得到同步频率列表；根据所述同步频率列表，通过运营商接口获取所述物联网卡的实时状态数据；所述实时状态数据通过Redis进行数据过滤，将过滤后的所述实时状态数据写入数据库。还公开了使用该方法的一种装置。本发明通过配置不同的同步策略和缓冲策略，提高数据的同步效率、灵活性和实时性，大幅度降低同步数据对业务系统和数据库的压力。

技术领域

本发明属于物联网数据同步领域，尤其涉及一种高性能的海量数据同步方法及装置。

背景技术

万物互联的时代已经到来，物联网卡的使用也随处可见。面对物联网卡的海量数据，一个高性能的物联网卡管理系统十分重要。物联网卡的业务极其复杂，其中对物联网卡自身的数据管理能力，足以体现一个系统是否优秀。物联网卡自身的数据主要体现在卡的状态、卡的流量信息、卡的套餐信息数据。如何高效地、准实时地与运营商同步这些数据，直接影响着物联网卡的运营。高性能的海量数据同步策略是每个物联网卡系统的制胜法宝。

现有的物联网卡管理系统的同步策略基本上是定时轮询。针对不同的上游运营商采用不同的定时频率进行卡的扫描，然同遍历每一张卡去请求上游不同的运营商，再将返回的数据同步到数据库。但现有的物联网卡管理系统的同步策略存在以下问题：

(1)现有的定时同步策略与上游运营商的接口访问策略导致卡的数据延时问题。例如某个上游运营商的接口访问频率是1分钟20次，每次批量的卡上限是100张，也就是1分钟内最多只能同步到2000张卡的状态数据。但是某公司管理这个上游运营商的卡可能有几十万张、甚至几百万张需要访问运营商接口，现有的同步策略远远不能满足运营需求；

(2)物联网卡管理系统记录的卡的状态与上游运营商记录的状态同步不及时问题。例如，在运营商系统里卡的状态已经是使用状态，但是由于同步的迟延问题，物联网卡管理系统记录的卡的状态还是处于非使用状态。流量亦是如此，卡的流量已经用超了，但是物联网卡系统记录的卡的流量还是可以正常使用，严重影响了物联网卡管理系统的正常运作；

(3)每张卡每时每刻的状态、流量、套餐数据都可能发生变化，也有可能不变化。面对物联网卡多变的海量数据，直接同步到数据库里，无论是对业务系统还是对数据库的压力都是巨大的。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种高性能的海量数据同步方法及装置，通过配置不同的同步策略和缓冲策略，提高数据的同步效率、灵活性和实时性，大幅度降低同步数据对业务系统和数据库的压力。

本专利方案提供一种高性能的海量数据同步方法，包括：

获取物联网卡的过去状态数据；

根据所述过去状态数据，配置数据同步策略；

根据所述过去状态数据和数据同步策略，计算同步频率，得到同步频率列表；

根据所述同步频率列表，通过运营商接口获取所述物联网卡的实时状态数据；

所述实时状态数据通过Redis进行数据过滤，将过滤后的所述实时状态数据写入数据库。

进一步地，所述过去状态数据和实时状态数据包括物联网卡的使用状态、流量信息和套餐信息。

进一步地，所述配置所述数据同步策略，具体包括：

根据所述过去状态数据，定义所述物联网卡的同步频率评价指标及其计算方式；其中，所述同步频率评价指标包括：日均使用流量占比、已用流量占比、日流量增长环比、套餐流量、剩余沉默期、上一次同步时间；

定义所述同步频率评价指标的同步频率权重；