[发明专利]一种无线电海量监测数据的实时回放方法

说明书

本发明提供一种无线电海量监测数据的实时回放方法，包括依次连接的分布式存储系统、数据清洗加载模块、分布式回放存储模块、分布式回放控制模块；应用的采集机将采集的频谱数据传输至分布式存储系统；分布式存储系统为大数据平台的存储模块，原始监测上传至分布式存储系统后等待后续模块进行处理；数据清洗加载模块从分布式存储系统中提取数据，按照原子协议进行解帧后，对每个任务的监测文件进行解帧，保存并写入Hbase数据库中；分布式回放存储模块以列式存储的方式存储回放的数据，在列式存储Hbase数据库上实现；分布式回放控制模块用于回放的控制，包括接受外部的查询参数，进行回放速率控制，容错管理、流推送。

技术领域

本发明属于无线电历史监测数据回放技术领域，尤其是涉及一种无线电海量监测数据的实时回放方法。

背景技术

随着无线电监测大数据平台的建成及数据汇聚，各省的无线电监测中心积累了大规模的联网固定站监测数据，这些数据是无线电行业珍贵的数据资产，监测中心和各种无线电应用对海量历史数据进行细粒度回放的需求也日益增加，目前许多应用需要基于这些数据根据一定条件的查询，并按照特定的回放顺序进行回放处理，如监测数据的多维度瀑布图回放，占用度趋势，信号模拟等。由于监测数据回放的涉及的回放数据量十分巨大，一般来说一个省一年的监测数据量在50T左右，上层应用不能简单地从数据库中查询存储结果数据，然后再对存储结果进行回放。目前无线电监测数据的回放按下列方式提供数据：

原始流文件方式：中心收到应用对于原始数据回放的请求后，通过查找将包含该时段的监测文件发送给应用，应用收到回复报文后，根据回复报文的下载信息从相应的地址中获取原始监测文件。应用对这部分监测文件根据原子服务进行解帧后，获取自身所需维度的数据后进行应用

粗粒度方式提供：因为回放的数据量十分巨大，中心将监测数据按天、小时等进行聚类，保留其电平的均值，并将这部分数据保存于数据库中，应用进行回放需求时，通过对应的查询条件查询数据后返还给应用。并且当数据量很大时，传统的数据库很难保证数据回放的性能。

这些回放方式和回放技术都存在不同的缺陷，无法以高效且易用的方式支持大规模的回放服务。一方面，以原始文件的提供给应用，因为需要进行文件的下载，解帧，会导致回放的速度特别慢，并且由于是原始文件，应用需要进行解帧，定位，会导致应用的压力；一方面，粗粒度的提供方式，没法满足应用的粒度需求，且在数据库系统的静态数据上执行特定的查询，并以批处理而非流处理的方式将查询结果返回给用户，无法控制速度；最后，用数据库系统或者流计算的方式分别存在着批处理的长时延和无法控制播放速度等缺陷。因此，现有的回放方式都无法直接用作回放系统对静态数据进行处理。

发明内容

本发明旨在解决上述技术问题，提供一种无线电海量监测数据的实时回放方法。

为了达到上述目的，本发明采用如下技术方案：

一种无线电海量监测数据的实时回放方法，包括依次连接的分布式存储系统、数据清洗加载模块、分布式回放存储模块、分布式回放控制模块；应用的采集机将采集的频谱数据通过FTP、Flume等数据传输至分布式存储系统；分布式存储系统为大数据平台的存储模块，原始监测上传至分布式存储系统后等待后续模块进行处理；数据清洗加载模块从分布式存储系统中提取数据，按照原子协议进行解帧后，对每个任务的监测文件进行解帧，按时间、频点、电平的格式进行保存，写入Hbase数据库中；分布式回放存储模块以列式存储的方式存储回放的数据，在列式存储Hbase数据库上实现；分布式回放控制模块用于回放的控制，包括接受外部的查询参数，进行回放速率控制，容错管理、流推送；分布式回放存储模块根据时间域和频域分为时序电平数据存储方法和频点详情存储方法。

作为优选，所述时序电平数据存储方法按时间域对数据进行存储，时序电平数据完成对所有监测数据的分钟级、十五分钟级和小时级数据的存储，每种时间维下完成各个频点的特征值的存储，这些特征值包括此频点在此时刻下的电平的平均值、最大值和最小值，其对应的存储模式如下：