[发明专利]一种无线电监测数据回放方法

说明书

本发明公开了一种无线电监测数据回放方法，包括通用接口模块、数据传输模块、HBase数据库、HDFS数据库和历史数据编排模块和缓冲模块；通用接口模块、数据传输模块、HBase数据库和HDFS数据库依次连接，HBase数据库、缓冲模块、数据传输模块均与历史数据编排模块连接，本发明具有查询速度快、查询精度高，可对海量半结构化或者非结构化数据进行快速实时回放的特点。

技术领域

本发明涉及无线电历史监测数据回放技术领域，尤其是涉及一种可对海量半结构化或者非结构化数据进行快速实时回放的无线电监测数据回放方法。

背景技术

无线电监测是大型运动会、国际会议等活动的安全保障和实时监督检查的重要手段，无线电监测工作用于掌握频率情况、保障无线电频率，迅速查处有害干扰。

随着监测设备的发展和监测需求的细化，无线电监测数据的数量呈爆炸式增长，通常一台设备在几个月内的监测数据可达到TB数据级，并且为非结构化或者半结构化监控记录，运用传统的存储和处理方法已经无法满足数据查询的需要；其次，为了节省存储空间，无线电监控数据通常采用字节流的形式进行存储，而观测人员需要在第一时间定位并显示监测数据。

目前，无线电监测数据的历史实时回放，通常有以下两种方案：

采用分布式的Sqlite数据库的形式对监测数据进行逐条存储，每个分布式的Sqlite大小为2G。该方法适用于低频采样的数据设备，且存储监测数据的历史跨度很小，往往只有几台设备几天的数据量。

采用文件系统映射的方法，历史监测数据以文件的形式保存，文件的路径保存于关系型数据库并显示给用户，用户通过文件逐条查询记录。观测人员在查找数据时，需要逐条观测数据，从而定位到需要的观测点，需耗费大量的人力精力，观测人员事先无法概览整个观测数据。

可见，目前无线电监测方法不能有效的对海量的半结构化或者非结构化的数据进行快速实时回放。

发明内容

本发明的发明目的是为了克服现有技术中的无线电监测方法对海量半结构化或者非结构化数据进行快速实时回放的不足，提供了一种可对海量半结构化或者非结构化数据进行快速实时回放的无线电监测数据回放方法。

为了实现上述目的，本发明采用以下技术方案：

一种无线电监测数据回放方法，包括通用接口模块、数据传输模块、HBase数据库、HDFS数据库和历史数据编排模块和缓冲模块；通用接口模块、数据传输模块、HBase数据库和HDFS数据库依次连接，HBase数据库、缓冲模块、数据传输模块均与历史数据编排模块连接，

所述回放方法包括数据编排过程、数据回放过程和回放停止过程；

数据编排过程包括如下步骤：历史数据编排模块将原始监测数据的每一条记录解封后，读取记录的每个数据帧，根据每个数据帧的帧内信息生成rowkey索引，历史数据编排模块将每个数据帧、与每个数据帧关联的rowkey索引批量导入HBase数据库及HDFS数据库中；HBase数据库中设有若干个设备表。

本发明通过独特设计的rowkey索引，将无线电监测数据逐条载入HBase数据库中，并有效防止监测设备过快时在时间重复时记录的重复，支持用户逐记录快速查询；通过数据传输模块的查询条件与rowkey的对应，实现了用户的任意、快速实时的定位并回放数据。

作为优选，所述数据回放过程包括如下步骤：

(2-1)历史数据编排模块将原始监测数据的每条记录解封后，读取与每条记录对应的数据帧的帧头，根据帧头信息生成rowkey索引，历史数据编排模块通过API接口将每个数据帧、与每个数据帧关联的rowkey索引批量导入HBase数据库；HBase数据库中设有若干个设备表；

(2-2)通用接口模块接收用户的查询请求，并将查询请求发送给数据传输模块；