[发明专利]一种高性能的海量数据同步方法及装置

权利要求书

1.一种高性能的海量数据同步方法，其特征在于，包括：

获取物联网卡的过去状态数据；

根据所述过去状态数据，配置数据同步策略；

根据所述过去状态数据和数据同步策略，计算同步频率，得到同步频率列表；

根据所述同步频率列表，通过运营商接口获取所述物联网卡的实时状态数据；

所述实时状态数据通过Redis进行数据过滤，将过滤后的所述实时状态数据写入数据库。

2.根据权利要求1所述的一种高性能的海量数据同步方法，其特征在于，所述过去状态数据和实时状态数据包括物联网卡的使用状态、流量信息和套餐信息。

3.根据权利要求1所述的一种高性能的海量数据同步方法，其特征在于，所述配置所述数据同步策略，具体包括：

根据所述过去状态数据，定义所述物联网卡的同步频率评价指标及其计算方式；其中，所述同步频率评价指标包括：日均使用流量占比、已用流量占比、日流量增长环比、套餐流量、剩余沉默期、上一次同步时间；

定义所述同步频率评价指标的同步频率权重；

定义根据所述同步频率评价指标及其权重、计算所述同步频率的方式。

4.根据权利要求1所述的一种高性能的海量数据同步方法，其特征在于，所述实时状态数据通过Redis进行数据过滤，具体包括：

将所述实时状态数据与所述Redis中保存的过去状态数据进行比对；

若所述实时状态数据相对所述过去状态数据发生变化，则使用所述实时状态数据更新所述Redis中保存的过去状态数据；

否则将所述实时状态数据丢弃。

5.根据权利要求1所述的一种高性能的海量数据同步方法，其特征在于，还包括：

将所述实时状态数据写入Elasticsearch引擎。

6.一种高性能的海量数据同步装置，其特征在于，包括：

策略配置模块，用于从数据库中获取物联网卡的过去状态数据；根据所述过去状态数据，配置数据同步策略；将所述过去状态数据和数据同步策略传递给同步管理模块；

所述同步管理模块，用于根据所述过去状态数据和数据同步策略，计算同步频率，得到同步频率列表，并将所述同步频率列表传递给数据访问模块；

所述数据访问模块，用于根据所述同步频率列表，通过运营商接口获取所述物联网卡的实时状态数据，并传递给Redis；

所述Redis，用于对所述实时状态数据进行数据过滤，并将过滤后的所述实时状态数据传递给所述数据库；

所述数据库，用于保存由Redis过滤后的所述实时状态数据。

7.根据权利要求6所述的一种高性能的海量数据同步装置，其特征在于，所述过去状态数据和实时状态数据包括所述物联网卡的使用状态、流量信息和套餐信息。

8.根据权利要求6所述的一种高性能的海量数据同步装置，其特征在于，所述配置所述数据同步策略，具体包括：

根据所述过去状态数据，定义所述物联网卡的同步频率评价指标及其计算方式；其中，所述同步频率评价指标包括：日均使用流量占比、已用流量占比、日流量增长环比、套餐流量、剩余沉默期、上一次同步时间；

定义所述同步频率评价指标的同步频率权重；

定义根据所述同步频率评价指标及其权重、计算所述同步频率的方式。

9.根据权利要求6所述的一种高性能的海量数据同步装置，其特征在于，所述Redis，用于对所述实时状态数据进行数据过滤，具体包括：

将所述实时状态数据与所述Redis中保存的过去状态数据进行比对；

若所述实时状态数据相对所述过去状态数据发生变化，则使用所述实时状态数据更新所述Redis中保存的过去状态数据；

否则将所述实时状态数据丢弃。

10.根据权利要求6所述的一种高性能的海量数据同步装置，其特征在于，还包括：

Elasticsearch引擎，用于写入所述实时状态数据。