[发明专利]一种基于flink自定义sink的数据处理及推送方法及系统

说明书

本发明公开了一种基于flink自定义sink的数据处理及推送方法及系统，属于数据处理技术领域。本发明方法，包括：对flink启动命令中指定基本信息；在作业列表页面启动时，根据redis的值，判断当前作业对应的主题是否已经启动了作业；若没有启动作业则发送flink启动命令并启动作业，新增接数主题和表的关系到redis中；若已经启动作业，则只新增接数主题和表的关系到redis；当启动作业过程中对应的消息经过flink启动命令的计算逻辑时，会根据redis中作业对应的表的json内容，确定对应的消息存储的位置；在作业列表页面停用时，若redis中接数主题对应的表只剩下当前作业对应的表，则执行yarn application‑kill命令并关闭相应的作业，删除redis中接数主题和表的关系。本发明减少了资源的消耗，以及运维成本。

技术领域

本发明涉及数据处理技术领域，并且更具体地，涉及一种基于flink自定义sink的数据处理及推送方法及系统。

背景技术

为了实现文本推送，将实时接收的数据按照客户的规范和格式进行实时推送到指定的ftp，sftp服务器和kafka集群。并实现kafka主题灵活配置，为消费用户提供指定主题和消费组。如果前期配置的组和主题不满足新的用户消费要求，可以在不影响kafka集群的情况下，通过页面修改配置满足需求。基于Flink等大数据组件进行实时数据采集场景增加，Flink官方提供的sink服务满足不了我们的需求，此时可以需通过自定义sink实现。

Flink官方提供的sink服务满足不了我们的需求，如某一个需求是需要根据消息中的地市编码和时间确定输出到hdfssink中的目录，官方提供的只能一个主题里的所有消息一个路径，无法实现实际场景需求。

发明内容

针对上述问题，本发明提供了一种基于flink自定义sink的数据处理及推送方法，包括：

对flink启动命令中指定基本信息；

在作业列表页面启动时，根据redis的值，判断当前作业对应的主题是否已经启动了作业；

若没有启动作业则发送flink启动命令并启动作业，新增接数主题和表的关系到redis中；

若已经启动作业，则只新增接数主题和表的关系到redis；

当启动作业过程中对应的消息经过flink启动命令的计算逻辑时，会根据redis中作业对应的表的json内容，确定对应的消息存储的位置；

在作业列表页面停用时，若redis中接数主题对应的表只剩下当前作业对应的表，则执行yarn application-kill命令并关闭相应的作业，删除redis中接数主题和表的关系。

可选的，基本信息包括：作业基本信息，输入适配器信息，输出适配器信息。

可选的，输入适配器信息，包括：flink的输入流source对应的kafka的相关信息。

可选的，输出适配器的信息，包括：启动flink的三种自定义sink需要的信息。

本发明还提出了一种基于flink自定义sink的数据处理及推送系统，包括：

信息指定模块，对flink启动命令中指定基本信息；

作业列表启动单元，在作业列表页面启动时，根据redis的值，判断当前作业对应的主题是否已经启动了作业；若没有启动作业则发送flink启动命令并启动作业，新增接数主题和表的关系到redis中；若已经启动作业，则只新增接数主题和表的关系到redis；当启动作业过程中对应的消息经过flink启动命令的计算逻辑时，会根据redis中作业对应的表的json内容，确定对应的消息存储的位置；