[发明专利]实时数据存储方法、装置、计算机设备及存储介质

摘要

本申请实施例属于大数据领域，涉及一种实时数据存储方法、装置、计算机设备及存储介质，其中方法包括：接收实时数据，对所述实时数据进行Json格式化，得到Json串消息；将所述Json串消息输入到基于Kafka的消息发布系统，并保存在所述基于Kafka的消息发布系统中预创建的Top i c中；创建Kafka消费者，并设置所述Kafka消费者的消费Top i c，所述消费Top i c指向所述预创建的Top i c；配置f l i nk数据流AP I的流计算执行环境，并在所述流计算执行环境中将所述Kafka消费者配置成数据源；调用所述f l i nk数据流AP I,将所述实时数据通过所述数据源保存到预设的Hbase数据库和预设的ES数据库。基于f l i nk的可灵活扩展的消费kafka消息并保存数据在HBASE和ES的方法，支持自动扩展，数据插入耗时更短，索引时也更为便捷。