[发明专利]一种kafka消费指定推送时间数据处理方法

说明书

本发明公开了一种kafka消费指定推送时间数据处理方法，涉及数据处理技术领域；该数据处理方法包括以下的步骤：S1、获取指定消费时间的偏移量，包括找到kafka的时间戳的步骤，以及通过kafka的时间戳获取指定消费时间的偏移量的步骤；S2、对kafka进行设置指定偏移量；通过调用kafka Api中的Kafka Consumer，采用seek方法跳到指定Partition的指定Offset处消费；S3、启动kafka消费程序，使设置的时间与消费数据对应的时间戳一致；本发明的有益效果是：该方法减少对重复数据的处理，保证数据质量，减缓因带宽占用过大而影响同网段的其他消费应用的处理能力。

技术领域

本发明涉及消息处理技术领域，更具体的说，本发明涉及一种kafka消费指定推送时间数据处理方法。

背景技术

Kafka是一种分布式发布-订阅消息系统，具备高吞吐量、持久化、副本集机制、分布式支持横向扩展等特性。对生产者和消费者的设计完全解耦，流量可削峰、消息处理可做到异步。现在它已被很多公司作为多种类型的数据管道和消息系统使用。

为了更好的说明及理解本发明的技术方案，对Kafka的基础概念作如下介绍：

1、生产者与消费者

对于Kafka来说客户端有两种基本类型，包括：生产者(Producer)、消费者(Consumer)，生产者(也称为发布者)创建消息，而消费者(也称为订阅者)负责消费消息。

2、主题(Topic)与分区(Partition)

在Kafka中，消息以主题(Topic)来分类，每一个主题都对应一个「消息队列」，即类似于数据库中的表。但是如果把所有同类的消息都塞入到一个“中心”队列中，势必缺少可伸缩性，无论是生产者/消费者数目的增加，还是消息数量的增加，都可能耗尽系统的性能或存储。对于此问题，本方案中引入了分区(Partition)的概念完成了水平扩展。

3、Broker和集群(Cluster)

一个Kafka服务器也称为Broker，它接受生产者发送的消息并存入磁盘，Broker同时服务消费者拉取分区消息的请求，返回目前已经提交的消息。使用特定的机器硬件，一个Broker每秒可以处理成千上万的分区和百万量级的消息。若干个Broker 组成一个集群(Cluster)，其中集群内某个Broker会成为集群控制器(Cluster Controller)，它负责管理集群，包括分配分区到Broker、监控Broker故障等。在集群内，一个分区由一个Broker负责，这个Broker也称为这个分区的Leader。当然一个分区可以被复制到多个Broker上来实现冗余，这样当存在Broker故障时可以将其分区重新分配到其他Broker来负责。

在实际使用场景中，Kafka会结合其他技术一起使用，以确保当Kafka集群出现一般性问题时，仍可保障数据质量。但在重启Kafka消费端应用程序时，默认的两种消费机制均存在其弊端：(1)从头消费，导致重复消费数据过多，当消费量巨大，消费时间有限时，对流量带宽占用和消费速度依赖过大。(2)从最新数据消费，导致数据可能有缺失，影响最终数据质量。

发明内容

为了克服现有技术的不足，本发明提供一种kafka消费指定推送时间数据处理方法，该方法减少对重复数据的处理，保证数据质量，减缓因带宽占用过大而影响同网段的其他消费应用的处理能力。

本发明解决其技术问题所采用的技术方案是：一种kafka消费指定推送时间数据处理方法，其特征在于：

S1、获取指定消费时间的偏移量，包括找到kafka的时间戳的步骤，以及通过kafka的时间戳获取指定消费时间的偏移量的步骤；