[发明专利]一种基于OpenTsdb实时同步时序数据至Kafka的方法在审
申请号: | 202011219627.8 | 申请日: | 2020-11-03 |
公开(公告)号: | CN112328684A | 公开(公告)日: | 2021-02-05 |
发明(设计)人: | 苑晓龙;孙思清;贾德星;刘牧 | 申请(专利权)人: | 浪潮云信息技术股份公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F9/445 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 冯春连 |
地址: | 250100 山东省济南市高*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 opentsdb 实时 同步 时序 数据 kafka 方法 | ||
本发明公开一种基于OpenTsdb实时同步时序数据至Kafka的方法,涉及OpenTsdb集群技术领域,由于物联网平台中数据快速存储和读取的时序数据库OpenTsdb集群支持大量时序数据实时写入和采样分析,但无法满足某些特定场景的实时分析应用,采用技术方案为:利用OpenTsdb自定义插件机制自定义opentsdb‑rtpub‑kafka插件,opentsdb‑rtpub‑kafka插件包括Kafka实时发布插件配置单元和kafka实时发布器,Kafka实时发布插件配置单元负责设置和解析自定义opentsdb‑rtpub‑kafka插件相应Kafka集群的地址、主题及其他配置参数,kafka实时发布器负责将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题,以便下游不同的订阅者订阅时序数据或注释数据。
技术领域
本发明涉及OpenTsdb集群技术领域,具体的说是一种基于OpenTsdb实时同步时序数据至Kafka的方法。
背景技术
物联网IoT(Internet of Things)体系分为感知层、传输层、应用层,随着物联网技术的发展,越来越多的物(设备或传感器等)相互连接起来,从而产生了海量的时序数据,在此背景下,诞生了满足海量数据快速存储的专业领域型数据库-时序数据库OpenTsdb。
时间序列数据是指是一段时间内某个特定指标量的一系列数值数据点,OpenTsdb将时序数据通过指标和标签以及时间戳来唯一标识一个指标量,这些指标数据具有不可变性。TSD是OpenTsdb的服务进程,它是基于HBase集群的无状态服务,它通过将指标和标签数据数字化映射的方式、指定时间间隔的相同标签的指标数据聚合的方式以及Snappy、Zlib等数据压缩技术提高数据I/O的效率。
物联网平台中,数据快速存储和读取的时序数据库OpenTsdb集群支持大量时序数据实时写入和采样分析,但是,却无法满足某些特定场景的实时分析应用(如监控平台的报警需求)。
发明内容
本发明针对目前技术发展的需求和不足之处,提供一种基于OpenTsdb实时同步时序数据至Kafka的方法,在不影响时序数据写入时序数据库性能的前提下,将时序数据和注释数据实时发布至分布式消息队列Kafka的相应主题,以便下游不同的订阅者订阅时序数据或注释数据,研发满足特定需求的应用,尤其是对实时性要求较高的应用场景。
本发明的一种基于OpenTsdb实时同步时序数据至Kafka的方法,解决上述技术问题采用的技术方案如下:
一种基于OpenTsdb实时同步时序数据至Kafka的方法,利用OpenTsdb自定义插件机制自定义opentsdb-rtpub-kafka插件,自定义的opentsdb-rtpub-kafka插件运行在每个TSD实例中,将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题。
可选的,所涉及opentsdb-rtpub-kafka插件包括Kafka实时发布插件配置单元和kafka实时发布器;
Kafka实时发布插件配置单元继承自Config类,负责设置和解析自定义opentsdb-rtpub-kafka插件相应Kafka集群的地址、主题及其他配置参数;
kafka实时发布器继承自abstract RTPublisher抽象类,负责将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题。
可选的,所涉及自定义的opentsdb-rtpub-kafka插件基于插件版本、插件初始化及停止插件方法来管理插件的生命周期。
进一步可选的,所涉及自定义的opentsdb-rtpub-kafka插件基于两个发布数据点方法,支持将值为整型和浮点型的时序数据根据参数配置项定义的时间间隔和每个批次的最大消息数量实时发布至数据点参数项指定的主题中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮云信息技术股份公司,未经浪潮云信息技术股份公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011219627.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:用于施工现场的钢筋绑扎辅助装置
- 下一篇:扶壁框架式挡土墙