[发明专利]一种基于NiFi的二级缓存数据处理方法及系统

说明书

本发明属于数据管理技术领域，公开了一种基于NiFi的二级缓存数据处理方法及系统，启动二级缓存服务端，进行数据信号监听；接收用户操作请求转成信号发送至服务端；将请求发送缓存数据至二级缓存；发送SecondaryCache信号至二级缓存服务端；将缓存数据存储到SecondaryCache；二级缓存客户端服务发送applySecondaryCache信号至二级缓存服务端；将SecondaryCache的缓存数据复制到新的缓存对象中，并将该新的缓存对象指针指向用于查询的缓存。本发明通过新增一个二级缓存，用于临时存储缓存数据，对原始缓存的操作具有原子性，以达到安全删除失效缓存的目的。

技术领域

本发明属于数据管理技术领域，尤其涉及一种基于NiFi的二级缓存数据处理方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

随着大数据ETL的组件化，许多的ETL功能都已实现让用户在界面使用拖拉拽的方式连接配置ETL流程。而NiFi便是这样一个功能强大的ETL引擎，并且已实现了众多的ETL组件需求，大大降低了用户对数据进行ETL处理的门槛。作为在NiFi引擎中经常使用的缓存组件，在面临实际业务场景下，并不能满足大部分需求，这是由于在缓存数据库查询结果时，对于数据库已删除的数据无法捕获，造成已被丢弃的数据的滞留，在进行缓存查询匹配时，匹配到过时的缓存，影响了业务数据的质量。

综上所述，现有技术存在的问题是：

(1)现有技术在缓存数据库查询结果时，对于数据库已删除的数据无法捕获，造成已被丢弃的数据的滞留，在进行缓存查询匹配时，匹配到过时的缓存，影响业务数据的质量。

(2)现有技术在使用缓存组件时，不能够及时对失效缓存进行移除，影响其他业务组件的使用。

解决上述技术问题的难度和意义：

难度为：在实际项目中，查询数据库的字典数据时，无法捕获删除的数据；

解决现有技术的难度后带来的意义为：本发明解决了在使用数据库字典数据作为缓存数据时，能够基于单次的数据查询操作对旧缓存进行重置操作，在可接受的延时内有效的将失效的字典缓存数据进行清除和更新。

发明内容

针对现有技术存在的问题，本发明提供了一种基于NiFi的二级缓存数据处理方法及系统，

本发明是这样实现的，一种基于NiFi的二级缓存数据处理方法，包括：

启动二级缓存服务端，它包括Socket管道监听服务及基于内存和磁盘的缓存服务，用于监听指定socket端口并处理对应信号应用至缓存服务中。监听的数据信号包括：二级缓存putSecondaryCache、重置二级缓存resetSecondaryCache和应用二级缓存applySecondaryCache的所有二级缓存的请求；

启动二级缓存客户端，它包括了所有与二级缓存服务端Socket管道服务通信时，请求服务端操作的二级缓存数据信号接口，用于将应用端对服务端缓存操作的数据信号发送至服务端进行处理。

应用端通过二级缓存客户端接口，对二级缓存服务端的缓存服务进行操作，包括存入二级缓存、重置二级缓存和应用二级缓存操作。

进一步，所述基于NiFi的二级缓存数据处理方法具体包括：

步骤一：启动二级缓存服务端，对存入二级缓存putSecondaryCache、重置二级缓存resetsecondaryCache和应用二级缓存applySecondaryCache数据信号进行监听；

步骤二：启动二级缓存客户端服务，接收用户操作请求，将请求转成对应信号发送至服务端；

步骤三：通过客户端服务请求发送缓存数据至二级缓存SecondaryCache；