[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本发明提供了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：在服务启动时，将服务前次运行过程中从本地缓存写入本地存储系统中的数据重新写回到本地缓存，再获取服务离线期间未处理的数据处理消息，根据数据处理消息对本地缓存中的数据进行更新。本方案通过在服务运行过程中将本地缓存中的数据写入本地存储系统，实现了缓存数据的持久化，在服务启动时将数据由本地存储系统还原至本地缓存中，避免了服务重启后本地缓存数据的丢失。进一步的，在将本地存储系统中的数据重新写回到本地缓存中后，根据服务离线期间未处理的数据处理消息对本地缓存中的数据进行更新，实现了缓存数据的及时更新。

技术领域

本申请涉及云存储领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着业务发展数据规模越来越大，目前本地(服务进程内)全量数据加载的方式使服务越来越庞大，为使服务向着云原生方向发展，需要将后端服务轻量化，因此将全量数据由本地迁移到分布式远程数据库中，同时为了减少远程调用的开销，本地缓存小部分热门数据，形成本地缓存+远程数据中心的存储方案。

目前，分布式远程数据存储业界已经有非常成熟的产品，例如Redis等，但目前的本地缓存实现方式在使用过程中，发明人发现在一些高访问量、高并发场景下本地缓存存在下述问题：服务进程重启后，本地内存中缓存的数据全部丢失，本地缓存处于失效状态。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据处理方法、装置、电子设备及存储介质。

第一方面，本申请提供了一种数据处理方法，包括：

在服务启动时，将本地存储系统中存储的数据写入本地缓存，所述数据为所述服务在前次运行过程中从所述本地缓存写入所述本地存储系统中的数据；

获取服务离线期间未处理的数据处理消息；

根据所述数据处理消息对所述本地缓存中存储的数据进行处理。

作为一种可能的实施方式，将所述本地存储系统中存储的数据写入本地缓存，包括：

对所述本地存储系统中存储的数据进行遍历，以读取所述服务在前次运行过程中从所述本地缓存写入所述本地存储系统中的数据；

将所述数据和所述数据的数据主键写入缓存插入内部队列；

调用第二独立线程读取所述缓存插入内部队列中存储的所述数据和所述数据的数据主键；

将所述数据的数据主键插入缓存策略链表的表头；

将所述数据插入所述本地缓存中。

作为一种可能的实施方式，据所述数据处理消息对所述本地缓存中存储的数据进行处理，包括：

对所述数据处理消息进行解析，以获取所述数据处理消息中包含的数据处理类型和目标数据主键；

若确定所述本地缓存中存储有与所述目标数据主键对应的数据，则根据所述数据处理类型和所述目标数据主键对所述本地缓存中存储的数据进行处理。

作为一种可能的实施方式，根据所述数据处理类型和所述目标数据主键对所述本地缓存中存储的数据进行处理，包括：

若所述数据处理类型为数据更新，则从远程数据库中获取与所述目标数据主键对应的数据，将所述数据和所述数据的数据主键写入缓存插入内部队列，调用第二独立线程读取所述缓存插入内部队列中存储的所述数据和所述数据的数据主键，将所述数据的数据主键插入缓存策略链表的表头，将所述数据插入所述本地缓存中；

若所述数据处理类型为数据删除，则将所述目标数据主键写入缓存删除内部队列，调用第二独立线程读取所述缓存删除内部队列中存储的所述目标数据主键，将所述本地缓存中与所述目标数据主键对应的数据删除。