[发明专利]一种数据同步处理方法及装置

说明书

本发明提供一种数据同步处理方法及装置，涉及数据处理技术领域，可用于金融领域或其他技术领域。所述方法包括：获取数据在预设时段内的数据重要性排名和当前被操作频率；根据所述数据重要性排名、所述当前被操作频率和所述数据的历史被操作频率均值，确定所述数据的敏感性指标参数；将大于预设敏感性指标参数阈值的敏感性指标参数对应数据确定为目标数据，并使用目标消息中间件对所述目标数据进行同步处理。所述装置执行上述方法。本发明实施例提供的数据同步处理方法及装置，能够选择合适的消息中间件对敏感性数据进行同步处理，进而优化数据处理过程。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据同步处理方法及装置。

背景技术

在金融科技发展的初级阶段，当金融企业互联网业务达到一定规模后，往往会考虑多个数据中心的建设与发展。一方面是因为发展所带来的业务极速增长以及交易的高频集中，单个数据中心难以支撑庞大的数据流量；另一方面，出于对业务容灾的考量，需要在多个城市建立多个数据中心以达到容灾目的；再者，因为全球化的业务，用户遍布在全世界的各个国家和地区，为了提升用户体验，加快业务响应速度，更需要在国际间建立多个数据中心。

现行的金融业数据中心数据库数据同步方案大多通过单活、同城双活等方法以应对目前的业务压力。同一个业务下的多个承担相同功能的应用及其数据库，根据其部署地不同分流用户，这些应用及数据库同时会被用户操作访问，每个数据库都需要根据用户操作进行相应的增删改查的工作，并且使用同步方法保证这些数据库之间的数据一致性。

数据一致性通过otter、zookeeper、kafka三种不同类型的组件之间的相互配合实现，但是不同数据差异较大，无法区分数据差异，进而使得现有数据同步效率低下。

发明内容

针对现有技术中的问题，本发明实施例提供一种数据同步处理方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种数据同步处理方法，包括：

获取数据在预设时段内的数据重要性排名和当前被操作频率；

根据所述数据重要性排名、所述当前被操作频率和所述数据的历史被操作频率均值，确定所述数据的敏感性指标参数；

将大于预设敏感性指标参数阈值的敏感性指标参数对应数据确定为目标数据，并使用目标消息中间件对所述目标数据进行同步处理。

其中，所述当前被操作频率包括当前被修改频率；相应的，所述根据所述数据重要性排名、所述当前被操作频率和所述数据的历史被操作频率均值，确定所述数据的敏感性指标参数，包括：

计算所述当前被修改频率与历史被修改频率均值之间的第一比值，并将所述数据重要性排名作为自然对数与1的差值的幂次，得到幂次结果；

将所述第一比值与所述幂次结果之积作为所述敏感性指标参数。

其中，所述当前被操作频率包括当前被查询频率；相应的，所述根据所述数据重要性排名、所述当前被操作频率和所述数据的历史被操作频率均值，确定所述数据的敏感性指标参数，包括：

计算所述当前被查询频率与历史被查询频率均值之间的第二比值，并将所述数据重要性排名作为自然对数与1的差值的幂次，得到幂次结果；

将所述第二比值与所述幂次结果之积作为所述敏感性指标参数。

其中，所述当前被操作频率包括当前被修改频率和当前被查询频率；相应的，所述根据所述数据重要性排名、所述当前被操作频率和所述数据的历史被操作频率均值，确定所述数据的敏感性指标参数，包括：

计算所述当前被修改频率与历史被修改频率均值之间的第一比值，计算所述当前被查询频率与历史被查询频率均值之间的第二比值，并将所述数据重要性排名作为自然对数与1的差值的幂次，得到幂次结果；