[发明专利]数据查询方法、装置及设备、存储介质

说明书

本发明提供一种数据查询方法、装置及设备、存储介质，可以满足应用对中间处理数据的需求。该方法包括：当查询到原始数据时，按照指定处理逻辑对原始数据进行处理得到第一处理数据，并按照第一数据结构将所有第一处理数据存储至数据库；第一数据结构包括第一关键字Key和第一值Value，第一Key包括逻辑标识、日期、数据维值，第一Value被定义为哈希Hash结构，Hash结构的哈希关键字HashKey依据满足第一Key的原始数据的时间区间确定，Hash结构的哈希值HashValue包括满足HashKey的原始数据所对应的第一处理数据；当接收到请求任务时，依据请求任务在第一数据结构中确定对应的目标Key和目标Value，并在目标Value中确定出对应的目标HashKey，在目标HashKey对应的目标HashValue中查询到目标第一处理数据。

技术领域

本发明涉及大数据技术领域，尤其涉及的是一种数据查询方法、装置及设备、存储介质。

背景技术

物联网领域拥有着繁多的业务类型以及海量增长的数据，从前端传感器采集数据，到后台对数据进行处理得到结果，整个过程耗时较长。而许多业务对结果的时效性有着较高的要求，如交通领域中，一些业务需要对某区域的套牌车辆进行监管，倘若对历史数据进行套牌车处理并上报，显然错过了最佳监管时机。

流式计算框架是一种重要的大数据处理手段，可以实时地获取数据，并对数据进行处理得到结果，可以避免错过上述的最佳监管时机。因此，可以将流式计算框架应用在物联网场景中，来应对海量流数据的处理。

在相关的方式中，虽然可以应对流数据的处理，但是只能提供数据处理的最终结果，最终结果之前的中间处理数据无法通过查询获取。然而在一些应用中，有可能会需要这些中间处理数据，所以上述方式无法满足这些应用的需求。

发明内容

有鉴于此，本发明提供一种数据查询方法、装置及设备、存储介质，可以满足应用对中间处理数据的需求。

本发明第一方面提供一种数据查询方法，包括：

当在数据库中查询到至少一个原始数据时，按照指定处理逻辑对原始数据进行处理得到各原始数据对应的第一处理数据，并按照第一数据结构将所有第一处理数据存储至数据库；第一数据结构包括：第一关键字Key和第一值Value，第一Key至少包括指定处理逻辑的逻辑标识、原始数据对应的日期、原始数据中指定数据维度对应的数据维值，第一Value被定义为哈希Hash结构，Hash结构的哈希关键字HashKey依据满足第一Key的原始数据的时间区间确定，Hash结构的哈希值HashValue至少包括满足HashKey的原始数据所对应的第一处理数据；

当接收到查询第一处理数据的请求任务时，依据请求任务在第一数据结构中确定对应的第一目标Key和第一目标Key对应的第一目标Value，并依据所述请求任务在第一目标Value中确定出对应的目标HashKey，依据所述请求任务在所述目标HashKey对应的目标HashValue中查询到对应的目标第一处理数据。

根据本发明的一个实施例，该方法之前，进一步包括：当在设定时间窗口接收到外部输入的源数据时，对源数据进行过滤得到待存储的原始数据并按照第二数据结构进行存储；第二数据结构包括第二Key和第二Value，第二Key至少包括所述设定时间窗口、数据类型、数据维度、所述数据维度对应的数据维值；第二Value至少包括满足第二Key的原始数据；

所述在数据库中查询到至少一个原始数据包括：

当检测到查询事件时，确定所述查询事件对应的目标时间窗口；依据所述目标时间窗口、查询事件对应的数据类型和数据维度，在所述第二数据结构中确定第二目标Key，在所述第二目标Key对应的第二目标Value中查询到对应的原始数据。