[发明专利]一种基于kafka-connect的数据传递方法

说明书

本发明公开了一种基于kafka‑connect的数据传递方法，包括：生成与源kafka的topic对应的kafka‑connector，并通过kafka‑connector生成对应的task任务；task任务监听该源kafka的topic是否有数据变化；如果确定task任务监听该源kafka的topic有数据变化，则判断源kafka是否与目标kafka联通；如果源kafka与目标kafka联通，执行推送数据到目标kafka的逻辑，并通过kafka‑connector记录对应的推送位置。通过上述方式，本发明所公开的基于kafka‑connect的数据传递方法能够使得信息数据的推送效率高，接近于实时推送，而且会自动记录推送的位置，在断开之后重新连接，会在对应的位置重新续上，大大提升了用户的体验。

技术领域

本发明涉及互联网技术领域，特别涉及一种基于kafka-connect的数据传递方法。

背景技术

互联网发展迅速，已成为人们生活的重要组成部分和人类文明传播发展的重要载体，渗透到经济、政治、文化、社会生活各个方面，改变着人们的交往方式和思维方式。无论是在工业领域或者是在社会生活领域，互联网给人的改变是巨大的。

互联网成为大量信息数据的载体，文字、图片、数据库、音频、视频多媒体等不同类型数据大量出现于网络，再加以各式各样的网页设计，人类进入了信息爆炸的时代。互联网信息呈现了数据巨大、内容广泛、形式多样、增长迅速的特点。

由于互联网成为大量信息数据的载体，因此这些大量信息数据需要从一个节点进行推送到另一个节点，然而，传统方式中，信息数据的推送效率低，无法做到实时推送，大大降低了用户的体验。

发明内容

本发明主要解决的技术问题是提供一种基于kafka-connect的数据传递方法，信息数据的推送效率高，接近于实时推送，大大提升了用户的体验。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于kafka-connect的数据传递方法，其特征在于，包括：生成与源kafka的topic对应的kafka-connector，并通过kafka-connector生成对应的task任务；task任务监听该源kafka的topic是否有数据变化；如果确定task任务监听该源kafka的topic有数据变化，则判断源kafka是否与目标kafka联通；如果源kafka与目标kafka联通，执行推送数据到目标kafka的逻辑，并通过kafka-connector记录对应的推送位置。

进一步的，该方法还包括：如果确定源kafka与目标kafka不联通，task任务继续监测对应的目标kafka的联通性。

进一步的，该方法还包括：在执行推送数据到目标kafka的逻辑步骤时，当源kafka与目标kafka断开联通，记录推送数据到目标kafka的原推送位置，且在源kafka与目标kafka再次联通时，直接推送数据至原推送位置所对应的目标kafka中。

进一步的，该方法还包括：定时去检查kafka-connector的状态，并判断kafka-connector的状态是否正常；如果确定kafka-connector的状态不正常，对不正常的kafka-connector进行清理，并重新生成新的kafka-connector。

进一步的，所述判断目标kafka的端口与IP地址是否联通的步骤包括：判断是否需要发送目标数据；如果是，则从目标数据中解析出目标kafka的端口和IP地址；判断目标kafka的端口与IP地址是否联通。

进一步的，所述判断目标kafka的端口与IP地址是否联通的步骤包括：解析出目标数据中的附加字节，并将附加字节发送给IP地址，其中目标数据包括用于试探源kafka和目标kafka是否联通的附加字节；判断是否返回确认指令；如果返回确认指令，确定该目标kafka的端口和IP地址联通；如果不返回确认指令，确定该目标kafka的端口和IP地址不联通。