[发明专利]基于KV索引的热数据增量同步方法及装置

说明书

本发明公开了一种基于KV索引的热数据增量同步方法及装置，集成方法包括：实时热点服务循环检查读缓存数据来源；依据Key集获取增量清单；循环增量清单上面的子项数据；依据ValueType确定应用最新的Value；判断删除数据还是更新数据以完成本次热数据增量同步。本发明中的增量同步可以减少同步的数据量，使开发人员减少注意缓存数据有效准确性，将精力更大的投入核心业务逻辑的开发和维护中。

技术领域

本发明涉及热数据处理技术领域，更具体地说，涉及一种基于KV索引的热数据增量同步方法及装置。

背景技术

大量用户同时访问集群服务，分发到每组服务时需要验证每次请求对应数据，例如身份信息，鉴权，秒杀等高频信息，这些高频使用的信息称为热数据，如果每次请求都从数据库,缓存获取，带来大量的压力，当前主流系统都有热数据读写设计要求，合理使用可以让系统运行更快，但如设计不合理导致，容易导致访问响应慢，影响用户体验，参见图1，图1为现有技术中典型的热数据架构设计图。

另外热数据来源于原始数据，业务操作下原始数据可以被修改操作，需要原始信息修改后能及时更新热数据，使得请求获取过时数据，造成业务处理异常，实时热点服务可以从读写操作帮助热数据同步更新到各个缓存。

现有热数据交换技术存在以下几种情况：

A.无热数据设计。该情况下，需要每次从数据集实时获取数据，受到数据集固有限制，在大并发系统性能不佳。

B.有热数据设计，无热数据更新。该情况下，在热数据更新后，整个系统无法及时获取到最新数据，导致请求获取过时数据。

C.有热数据设计，热数据部分更新。该情况下，热数据更新后，只部分更新，部分请求获取到过时数据。

D.有热数据设计，热数据全量更新。该情况下，热数据更新后做全量更新，时间周期长，在完成更新前请求获取还是过时数据。

发明内容

本发明提供了一种基于KV索引的热数据增量同步方法及装置，能够解决现有技术中热数据设计不合理导致，容易导致访问响应慢，影响用户体验，不能及时更新热数据，使得请求获取过时数据，造成业务处理异常的问题。

为解决上述问题，第一方面，本发明提供了一种基于KV索引的热数据增量同步方法，包括：

实时热点服务循环检查读缓存数据来源；

依据Key集获取增量清单；

循环增量清单上面的子项数据；

依据ValueType确定应用最新的Value；

判断删除数据还是更新数据以完成本次热数据增量同步。

其中，所述依据Key集获取增量清单，包括：

判断是否需要Key集获取后续批量更新的增量；

若需要Key集获取后续批量更新的增量，则传入上次更新的最后ID及最后时间，并按照对应Key集获取增量Key变动清单；

若不需要Key集获取后续批量更新的增量，则传入上次更新的最后ID及最后时间，并获取增量变动清单；

依据增量Key变动清单或者增量变动清单获取增量清单。

其中，所述依据ValueType确定应用最新的Value，包括：

依据ValueType判断当前用户是直接更新，还是要重新构造数据；

若当前用户直接更新，则使子项数据Value为最新Value；

若当前用户重新构造数据，则按照热数据重新构造Value；