[发明专利]一种大数据场景下基于联网监测的黑广播自动发现方法

摘要

本发明一种基于无线电联网监测场景下大数据黑广播自动发现方法，包括如下步骤：根据黑广播监测需求生成黑广播监测任务以监测广播数据，并且联网监测平台对监测的广播数据进行保存，同时通过flume上传至大数据平台；将样本数据存入到HDFS平台中，并根据站点、日期对数据进行分片处理；将样本数据按原子协议进行解帧，解帧后的数据按分钟级进行聚合并放入大数据平台的Hive中并实时更新至Impala模块中；从该Impala模块中获取所述监测任务的分钟聚合数据，根据背噪获得任务频率背噪灰度图，通过对该灰度图的腐蚀和膨胀处理剔除异常点数据，通过对灰度图的形成任务信号；形成的任务信号和所述合法信号库进行比对以确定其中存在的黑广播信号；以及通过黑广播定位模块根据对比获取的非法广播信号的带宽、中心频率生成测向任务来定位当前黑广播信号的源位置。

主权项

1.一种基于无线电联网监测场景下大数据黑广播自动发现方法，其特征是，自动发现系统包括监测联网平台、数据存储模块、联网数据解帧模块、信号提取模块和黑广播比对定位模块，所述联网监测平台用于对多站点黑广播发现任务的编排和数据上传，并且监测该数据上传到大数据平台并保存在hadoop分布式文件系统(HDFS)平台中，联网数据解帧模块用于根据原子协议对所监测的数据进行解帧、聚合，并通过信号提取模块获取本次测量的信号，最后通过黑广播比对定位模块与数据存储模块中合法信号库贮存的合法信号比对来提取其中的非法信号，并上报经过人工确认后进行黑广播确认处理。基于这种系统实现的黑广播预先发现方法包括如下步骤：(1)通过联网监测平台模块根据黑广播监测需求生成黑广播监测任务以监测广播数据，并且联网监测平台对监测的广播数据进行保存，同时通过flume上传至大数据平台；(2)通过数据存储模块将样本数据存入到HDFS平台中，并根据站点、日期对数据进行分片处理；(3)通过联网数据解帧模块将样本数据按原子协议进行解帧，解帧后的数据按分钟级进行聚合，聚合后的结构化广播数据放入大数据平台的Hive中并实时更新至Impala模块中；(4)通过信号提取模块从该Impala模块中获取所述监测任务的分钟聚合数据，根据背噪获得任务频率背噪灰度图，通过对该灰度图的腐蚀和膨胀处理剔除异常点数据，通过对灰度图的形成任务信号；形成的任务信号和所述合法信号库进行比对以确定其中存在的黑广播信号；以及(5)通过黑广播定位模块根据对比获取的非法广播信号的带宽、中心频率生成测向任务来定位当前黑广播信号的源位置。