[发明专利]基于缓冲技术的无线电监测数据查询方法

摘要

本发明公开了一种基于缓冲技术的无线电监测数据查询方法，包括通用接口模块、数据传输模块、HBase数据库和历史数据编排模块和缓冲模块；通用接口模块、数据传输模块、HBase数据库依次连接，HBase数据库、缓冲模块均与历史数据编排模块连接，本发明具有查询速度快、查询精度高，可对海量半结构化或者非结构化数据进行快速实时回放的特点。

主权项

1.一种基于缓冲技术的无线电监测数据查询方法，其特征是，包括通用接口模块(1)、数据传输模块(2)、HBase数据库(3)和历史数据编排模块(4)和缓冲模块(7)；通用接口模块、数据传输模块、HBase数据库依次连接，HBase数据库、缓冲模块、数据传输模块均与历史数据编排模块连接，所述查询方法包括如下步骤：(1‑1)历史数据编排模块将原始监测数据的每条记录解封后，读取与每条记录对应的数据帧的帧头，根据帧头信息生成rowkey索引，历史数据编排模块通过API接口将每个数据帧、与每个数据帧关联的rowkey索引批量导入HBase数据库；HBase数据库中设有若干个设备表；(1‑2)通用接口模块接收用户的查询请求，并将查询请求发送给数据传输模块；(1‑3)数据传输模块收到查询请求后，以queryid+”query”字段查询数据传输模块的消息表，如果查到消息表，则转入步骤(1‑4)；如果消息表不存在，数据传输模块生成消息表(5)，消息表包括传输集群kafka的生产者p1、消费者c1、订阅消息queryid+”query”、生产者p2、消费者c2和订阅消息queryid+“request”；(1‑4)数据传输模块的kafka集群(6)将查询内容通过p1发送到c1，c1接收到查询内容后，查询HBase的各个设备表中与查询内容的查询设备ID相对应的设备表，如果没找到设备表，则返回一个查询失败的消息格式；历史数据编排模块利用公式计算数据帧的延迟时间m；其中，n为查询内容中的用户查询参数，B为标准延迟毫秒数；(1‑4‑1)如果找到设备表，以查询内容的记录开始时间T1、记录结束时间T2、服务ID和查询频率查询rowkey索引；如果找不到与服务ID或者查询频率匹配的rowkey索引，则返回查询失败的消息；(1‑4‑2)如果找到与服务ID和查询频率匹配并且T1≤记录时间≤T2的p个rowkey索引构成的rowkey索引组；(1‑4‑3)选择p个rowkey索引中的记录时间最接近T1的rowkey索引A，提取HBase数据库的与rowkey索引A对应的数据帧，历史数据编排模块收到数据帧后，将数据帧存入缓冲模块中；(1‑5)查询消息表，通过c1查询与其对应的p2，p2接收历史记录后，达到延迟时间m后，将所述数据帧发给c2，c2将数据帧发送给查询用户；(1‑5‑1)当p＞0，使p值减少1，将rowkey索引A从rowkey索引组中去除，转入步骤(1‑4‑3)。