[发明专利]一种射频干扰的数据处理方法及装置

说明书

本发明公开了一种用于消减天文观测数据中射频干扰信号的数据处理方法及装置，该方法不仅大幅度提高了射频干扰信号探测的可靠性和准确性，还能降低处理大量数据的时间消耗。该数据处理方法主要包括：获取待处理数据；统计数据中的数值大小，画出其柱状图；求出数据的经验累计分布函数；定义拟合函数并进行拟合；标记RFI；选定最佳滤波函数；对每一个数据点进行加权,用滤波函数对待处理的数据进行卷积。本发明运算效率高，速度快，能快速实时处理海量数据，该方法基于二维高斯函数对射频干扰的数据进行卷积处理，可利用二维高斯函数对数据进行多次迭代运算，使最后图像更加平滑，降低噪底，对强弱射频干扰信号均能有效消除。

技术领域

本发明涉及无线电干扰消减领域，尤其针对射电天文数据中射频干扰消减的数据处理方法及装置。

背景技术

随着射电天文设备持续不断地更新发展，其观测性能越来越高。然而，由于射电天文分配的频谱资源非常有限，导致射电设备不断受到日益加强的非天文信号的影响，即射频干扰(Radio Frequency Interference，简称RFI)，其主要来源是人类的日常活动和通讯行为。射频干扰对观测结果的影响非常严重，大大降低了数据质量甚至产生数据无效，因此需要行之有效的消除射频干扰的技术手段，然而现有的射频干扰的数据处理技术具有如下缺陷：

(1)由于观测设备的更新升级，带宽不断增加，分辨率也越来越高，导致产生的数据量非常庞大，通常是TB量级的，而现有的RFI消除技术非常耗时，无法快速实时的处理海量数据。例如，一般，常规射频干扰的数据处理采用标记阈值方法，该方法是一种局域方法，将数据按时域或频域处理，处理的运算量是N(频率点数)*M(时间点数)*L(基线数量)，不适用于大数据；其相对应的标记算法，需先产生一个RFI统计表，然后在后续操作中删除，识别和删除数据是两个独立的操作过程，因此无法实时完成。

(2)弱RFI信号的处理识别效果差，检测RFI信号的真实度和灵敏度都不够，往往只能有效的识别强RFI信号，最终获得的数据结果与真实情况有很大的误差；例如，常规的标记算法在处理弱RFI信号方面效果不好，仅仅只能标识出RFI在数据序列中的位置，这样带来的潜在后果是强RFI信号会遗留一些残余在噪声中，而这些遗漏的噪声与弱RFI信号一起构成了噪底，给后续数据处理增加了难度，因此很难再进一步处理剩余的弱RFI信号。

(3)目前消减射频干扰的方法大多采用非线性的处理方式，无法进行迭代运算，这很大程度上限制了RFI噪声的消除精度。

因此，本领域的技术人员致力于开发一种射频干扰的数据处理方法及装置。

发明内容

有鉴于现有技术的上述不足，本发明所要解决的技术问题是提供一种可以快速实时的处理射电设备采集的大量图像数据，标记强RFI信号，同时可多次迭代处理以探测并消减弱RFI信号，获得高质量天文数据的射频干扰的数据处理方法及装置。

为了解决上述问题，本发明提供一种射频干扰的数据处理方法，包括以下步骤：

获取待处理数据及其滤波函数，所述待处理数据是射电设备获取的经过处理后的时频域数据，所述滤波函数基于核函数获得；

标记获取数据中的强RFI信号，包括求得数据的经验累计分布函数(empiricalcumulative distribution function,ECDF)，以及数据拟合

消减数据中的弱RFI信号，包括对所述待处理数据中的每个待处理点数据进行加权平均，以获取各待处理点数据的优化数据，其中所述加权的权重基于所述滤波函数确定。

进一步地，获取数据的ECDF，将函数值大于0.99的部分标记为强RFI。

进一步地，将获取的所有待处理点的优化数据基于组距处理获得柱状图数据，其中组距定义方法为：首先总组数定义为数据点数量总和除以10，柱状图范围为数据的最大值到最小值，平均分配以得到组距；