[发明专利]异步缓存方法、装置、系统、电子设备和存储介质

说明书

本发明公开了一种异步缓存方法、装置、系统、电子设备和存储介质。其中，该方法包括：获取数据库产生的数据更新日志；根据预先存储的记录读取信息提取所述数据更新日志中的待同步数据；控制远程缓存集群根据预先存储的写位置信息缓存所述待同步数据。本发明实施例通过记录读取信息和写位置信息对数据的异步缓存进行精细化管理，增强数据同步过程的鲁棒性，降低数据损坏机率，可增强数据完整性。

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种异步缓存方法、装置、系统、电子设备和存储介质。

背景技术

随着互联网的发展，大数据平台逐渐成为支持企业业务运转的重要平台，大数据平台中数据处理和存储成为影响企业发展的重要制约因素，现有大数据平台中常采用数据库和与远程字典服务(Remote Dictionary Server,Redis)组合的方式实现数据的存储。目前为了保障大数据平台中数据的一致性，常采用以下几种方法：方案一：数据库更新时Redis不更新，设置Key的过期时间，等Key过期后将数据库中的更新数据写入Redis缓存；方案二：数据库更新的同时更新Redis缓存；方案三：数据库更新的同时，将数据消息发送到卡夫卡流处理队列，由消息队列保证可靠性，再搭建消费服务来异步维护Redis缓存。

在实现本发明的过程中，发现现有技术中存在以下技术问题：

现有技术Key的过期过程中数据库与远程字典中数据不一致，导致脏数据出现；数据库和Redis无法实现数据完全同步更新，导致缓存雪崩、缓存穿透等问题；由于卡夫卡流处理队列中消息的达到顺序与实际时序不一致，导致消费顺序错误，Redis缓存数据更新存在错误。现在亟需一种异步缓存方法，以提高数据更新过程的中数据的完整性和一致性。

发明内容

本发明提供一种异步缓存方法、装置、系统、电子设备和存储介质，以实现数据更新的异步缓存，提高数据更新过程中数据的一致性和完整性。

第一方面，本发明实施例提供了一种异步缓存方法，该方法包括：

获取数据库产生的数据更新日志；

根据预先存储的记录读取信息提取所述数据更新日志中的待同步数据；

控制远程缓存集群根据预先存储的写位置信息缓存所述待同步数据。

进一步的，获取数据库产生的数据更新日志可以包括：

订阅数据库的binlog日志消息，将采集数据库生成的binlog日志消息作为数据更新日志，其中，binlog日志消息为二进制日志文件，记录MySQL数据库的数据更新信息或者潜在数据更新信息。

进一步的，根据预先存储的记录读取信息提取所述数据更新日志中的待同步数据可以包括：

使用Spring表达式语言(spel)提取记录读取信息中的数据库名、数据表名等信息作为目标关键字，可以使用正则匹配的方式在数据更新日志中匹配与目标关键字关联存储的数据作为待同步数据。

进一步的，控制远程缓存集群根据预先存储的写位置信息缓存所述待同步数据可以包括：

使用Spring表达式语言提取写位置信息中的redis集群、key和转换关系，其中，转换关系包括源字段和目标字段；可以将待同步数据中转换关系的源字段存储到redis集群中key对应的目标字段。

进一步的，预先存储的记录读取信息和写位置信息可以配置文件的形式存在，并可以使用DUCC内存配置管理系统管理该配置文件；DUCC内存配置管理系统中的配置文件可以按照缓存维度配置，每个缓存体存在各自对应的配置文件，配置文件中指明源信息和目标信息，源信息可以包括数据库中的源数据库、源数据表，目标信息可以包括目标redis集群、目标key和转换关系等。DUCC内存配置管理系统可以对配置文件进行增删改查处理。