[发明专利]一种大数据流查询的方法及设备

摘要

本申请的目的是提供一种大数据流查询的方法及设备，本申请通过对所采集的实时数据流进行动态数据模式的识别，以更新元数据信息，通过结构化查询语句(sql)在窗口和全量数据上分别执行，得到的结果进行合并，将实时变化的结果保存数据结果缓存中，结果随着实时数据流的变化而发生变化，实现利用sql的方式查询动态数据，对数据类型动态识别，达到用户像使用传统数据库一样，不再需要专门的开发工作。进一步地，数据类型动态生成元数据信息，支持灵活的元数据定义方式，采用窗口预聚合技术提前压缩合并实时数据，对实时数据采用sql方式查询的全量数据聚合，提供了一种sql查询实时数据的方法，灵活的结果生命周期管理方式，存储结果更加高效。

主权项

1.一种大数据流查询的方法，其中，所述方法包括：采集数据流，其中，数据流包括用户指定的数据源及待查询的结构化查询语句；通过分布式队列接收所述数据源的原始数据，通过键值自解析方式对所述接收的原始数据进行反序列化，识别所述原始数据的内部键值字段；获取元数据库中存在的所述原始数据的元数据信息，通过键进行匹配检查所述元数据信息是否包含所述键值的定义，若否，则根据所述数据流的数据类型对所述元数据信息进行实时解析，将解析结果更新至所述元数据库，并更新所述待查询的结构化查询语句的查询信息；根据更新后的待查询的结构化查询语句的查询信息及更新后的元数据信息进行所述数据流的窗口数据聚合，得到全聚合数据队列中的数据；从所述全聚合数据队列获取待全聚合数据，对所述待全聚合数据进行全量数据聚合，得到全量数据聚合的数据结果；将所述全量数据聚合的数据结果进行缓存，实时显示查询结果。