[发明专利]一种基于nifi循环读取kafka消息的方法

说明书

本发明公开一种基于nifi循环读取kafka消息的方法，涉及数据组件应用技术领域；基于nifi，通过kafka consumer组件记录调度任务的批次标识，通过kafka consumer组件创建消费者池，利用消费者池获取kafka消息：利用小循环判断布尔值是否为空，并结合消息提交列表的规格，根据布尔值判断消息处理进度，根据消息处理进度执行相应操作，根据小循环返回的结果来确定循环是否继续，小循环返回true,大循环继续执行，小循环返回false,大循环结束调度。

技术领域

本发明公开一种方法，涉及数据组件应用技术领域，具体地说是一种基于nifi循环读取kafka消息的方法。

背景技术

网络迅猛发展和广泛应用，使得人们获取的信息不仅在数量上呈现出了爆炸型增长，而且在信息速度上也呈现出指数型增长，尤其近十年大数据技术得到了突飞猛进的发展，其中nifi是高效的ETL工具，kafka是一款流行的消息中间件。很多系统使用kafka作为消息的传递存储介质，如何高效实时读取kafka消息并且分批次记录作业过程十分必要。

发明内容

本发明提供一种基于nifi循环读取kafka消息的方法统，面向软件开发人员，运维人员，通过nifi高效的ETL能力，实现对kafka消息的读取，并记录批次信息，使用户能够清晰的知道每次作业的具体信息。

本发明提出的具体方案是：

一种基于nifi循环读取kafka消息的方法，基于nifi，通过kafka consumer组件记录调度任务的批次标识，

通过kafka consumer组件创建消费者池，

利用消费者池获取kafka消息：利用小循环判断布尔值是否为空，并结合消息提交列表的规格，根据布尔值判断消息处理进度，根据消息处理进度执行相应操作，根据小循环返回的结果来确定循环是否继续，小循环返回true,大循环继续执行，小循环返回false,大循环结束调度。

进一步，所述的一种基于nifi循环读取kafka消息的方法中利用小循环判断布尔值＝＝true，并且消息提交列表的规格＝＝0，则判断消息处理进度为kafka消息队列中没有消息或者消息已经全部处理完成，则小循环返回false，大循环结束调度。

进一步，所述的一种基于nifi循环读取kafka消息的方法中利用小循环判断布尔值＝＝false，并且消息提交列表的规格小于预设值，则判断消息处理进度为kafka消息队列还有未被消费的消息，执行kafka中poll操作。

进一步，所述的一种基于nifi循环读取kafka消息的方法中所述利用小循环判断布尔值＝＝false，并且消息提交列表的规格大于预设值，则判断消息处理进度为kafka消息队列还有未被消费的消息，但是达到了向下游节点发送消息的批次大小，暂停kafka中poll操作，执行kafka中comit路由操作。

一种基于nifi循环读取kafka消息的系统，包括记录模块、创建模块及获取模块，

记录模块基于nifi，通过kafka consumer组件记录调度任务的批次标识，

创建模块通过kafka consumer组件创建消费者池，

获取模块利用消费者池获取kafka消息：利用小循环判断布尔值是否为空，并结合消息提交列表的规格，根据布尔值判断消息处理进度，根据消息处理进度执行相应操作，根据小循环返回的结果来确定循环是否继续，小循环返回true,大循环继续执行，小循环返回false,大循环结束调度。

进一步，所述的一种基于nifi循环读取kafka消息的系统中获取模块利用小循环判断布尔值＝＝true，并且消息提交列表的规格＝＝0，则判断消息处理进度为kafka消息队列中没有消息或者消息已经全部处理完成，则小循环返回false，大循环结束调度。