[发明专利]一种自定义保存Kafka Offset的方法在审
| 申请号： | 202011576775.5 | 申请日： | 2020-12-28 |
| 公开（公告）号： | CN112506862A | 公开（公告）日： | 2021-03-16 |
| 发明（设计）人： | 董可伦;刘传涛;胡清 | 申请（专利权）人： | 浪潮云信息技术股份公司 |
| 主分类号： | G06F16/13 | 分类号： | G06F16/13;G06F16/182;G06F8/41 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 郗艳荣 |
| 地址： | 250100 山东省济南市高*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 自定义 保存 kafka offset 方法 | ||
1.一种自定义保存Kafka Offset的方法，其特征在于：使用Spark程序计算每个批次数据中最大offset消息，并将获得的最大offset消息解析为json字符串，然后用源码HDFSMetadataLog将json字符串保存到HDFS目录中。
2.根据权利要求1所述的自定义保存Kafka Offset的方法，其特征在于：包括以下步骤：
第一步，获取最新的offset消息作为Spark Structured Streaming程序启动时对应的Kafka的起始偏移量Starting Offsets；
第二步，获取该批次数据中最大offset消息，并将其解析为json字符串；
第三步，在Spark程序消费完该批次数据后将json字符串和对应的批号batchId添加到检查点Check Point目录中。
3.根据权利要求2所述的自定义保存Kafka Offset的方法，其特征在于：所述第一步中，用Offset日志的getLatest方法获取最新的offset消息和批号batchId，然后将获取的最新offset消息作为Spark Structured Streaming程序启动时对应的Kafka的起始偏移量Starting Offsets。
4.根据权利要求3所述的自定义保存Kafka Offset的方法，其特征在于：所述第一步中，首先创建对应HDFS目录的源码HDFSMetadataLog，并在Spark Structured Streaming程序启动时首先使用源码HDFSMetadataLog读取检查点Check Point目录，从中获取所述Offset日志。
5.根据权利要求4所述的自定义保存Kafka Offset的方法，其特征在于：Spark程序根据HDFS的检查点CheckPoint目录创建源码HDFSMetadataLog。
6.根据权利要求2所述的自定义保存Kafka Offset的方法，其特征在于：所述第二步中，获取该批次数据中每个主题topic和各分区partition对应的最大offset消息，然后将获得的最大offset消息解析为对应格式的json字符串。
7.根据权利要求6所述的自定义保存Kafka Offset的方法，其特征在于：先将主题topic，各分区partition以及offset消息转化为HashMapTopicPartition,Long，然后将HashMapTopicPartition,Long转化为json字符串。
8.根据权利要求7所述的自定义保存Kafka Offset的方法，其特征在于：Spark程序将每个批次对应的DataFrame按照主题topic和各分区partition分组汇总group by，求出最大的offset消息，封装成HashMapTopicPartition，Long。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮云信息技术股份公司，未经浪潮云信息技术股份公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202011576775.5/1.html，转载请声明来源钻瓜专利网。
