[发明专利]一种无线电海量监测数据的实时回放方法

权利要求书

1.一种无线电海量监测数据的实时回放方法，其特征在于，包括依次连接的分布式存储系统、数据清洗加载模块、分布式回放存储模块、分布式回放控制模块；

应用的采集机将采集的频谱数据通过FTP、Flume数据传输至分布式存储系统；分布式存储系统为大数据平台的存储模块，原始监测上传至分布式存储系统后等待后续模块进行处理；数据清洗加载模块从分布式存储系统中提取数据，按照原子协议进行解帧后，对每个任务的监测文件进行解帧，按时间、频点、电平的格式进行保存，写入Hbase数据库中；分布式回放存储模块以列式存储的方式存储回放的数据，在列式存储Hbase数据库上实现；分布式回放控制模块用于回放的控制，包括接受外部的查询参数，进行回放速率控制，容错管理、流推送；分布式回放存储模块根据时间域和频域分为时序电平数据存储方法和频点详情存储方法；

所述频点详情实现在频域对数据进行存储，频点详情数据在十五分钟级和小时级的聚合粒度上对完成对频点详情的聚合，其对应的存储模式如下：

其中，频点详情的rowkey作为行键能够快速查询定位到历史数据，这里选用一个15字节作为行健的值，其中6位的任务ID由32位任务ID按依次数字顺序映射而来；

timestamp表示时间戳，为此时数据写入的时间值；columnfamiliy:amp表示数据按列族存储；在列名中，{time1}表示具体时刻，其对应的值为在此时刻下具体频点的所有电平值以及电平出现的次数，并且电平值按电平值降序或升序排列；

所述分布式回放控制模块包括回放控制器，所述回放控制器用于进行数据流的回放，所述回放控制器包括频点控制器、占用度控制器和电平控制器；

所述无线电海量监测数据的实时回放方法包括回放作业执行方法，所述回放作业执行方法包括以下步骤：

s1.回放客户端向回放服务器发送回放请求，回放请求支持对频点趋势、电平以及占用度三者的查询，最小支持的时间粒度为1分钟；

s2.回放服务器收到请求后，根据对请求的类别发送到相应的控制器中，各类请求控制器将回放请求进行分解、抽稀、控制速率；

s3.各类控制器对请求进行分解、映射，将各种请求变成一串连续的rowkey，控制器以rowkey为关键字从Hbase中查询相应的记录；

s4.各类请求控制器将接收到的数据发送给回放服务器；

s5.回放服务器根据连接socket流接口，将数据依次返回给回放客户端；

所述回放控制器包括时序电平回放和频点详情回放；

时序电平回放展现某一个时刻下所有频点的特征情况，如频点的平均电平、中值、最大最小值，其输入参数如下：开始时间、结束时间、开始频点、结束频点、抽稀步径、回放速率、设备ID；

频点详情回放则展示此频点在一段时间内各个时刻的全量情况，其输入参数如下： 开始时间、结束时间、频点、回放速率、设备ID；

根据这些参数，回放系统从列式存储中按顺序获取时间、频点、设备所对应的所有数据，这些数据依次发送给应用，满足应用的实时数据需求，所有数据的回放支持指定回放的速率，回放控制器通过参数中的回放速率控制发送速率进行实现。

2.如权利要求1所述的一种无线电海量监测数据的实时回放方法，其特征在于，所述时序电平数据存储方法按时间域对数据进行存储，时序电平数据完成对所有监测数据的分钟级、十五分钟级和小时级数据的存储，每种时间维下完成各个频点的特征值的存储，这些特征值包括此频点在此时刻下的电平的平均值、最大值和最小值，其对应的存储模式如下：

其中，时序电平的rowkey作为行健能够快速查询定位到历史数据，这里选用一个16字节作为行健的值，其中6位的任务ID由32位任务ID按依次数字顺序映射而来；

timestamp表示时间戳，为此时数据写入的时间值；columnfamiliy:amp表示数据按列族存储；在列名中，startfreq表示在此时刻下开始频点的值，step表示这一时刻下监测的步长，num表示在此时刻下频点的数量；avg表示此时刻下电平的平均值，每个频点有一个平均电平值，占用两个字节，所有频点的平均电平值按频点顺序进行排列，并按字节数组进行存储；min和max表示最小电平和最大电平，其组织和存储方式与平均电平相同。

3.如权利要求1所述的一种无线电海量监测数据的实时回放方法，其特征在于，回放控制器在收到回放客户端的回放请求后，会根据请求参数进行分解，分解后产生这次查询所需要的一系列rowkey，回放控制器根据这些rowkey从Hbase数据库中进行查询，一部分的查询结果会放入本次回放的缓存中，回放控制器的速度控制器根据速率从缓存中读取数据，并发送给应用客户端，如果缓存中的数据消耗完毕，则用剩余的Rowkey继续从Hbase数据库中查询数据，回放控制器通过socket数据流的形式将结果逐条发送给回放客户端。