[发明专利]一种抗噪音干扰的城域网数据核验装置

说明书

一种抗噪音干扰的城域网数据核验装置涉及信息技术领域。本发明由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；本发明通过抽离出有效数据，包括区域内外流向，可以更有效的利用流量数据对监管系统的数据覆盖度进行核验，可降低噪音数据在数据漏报发现中的影响。

技术领域

本发明涉及信息技术领域，特别是信息安全技术领域。

背景技术

DPI是一种基于数据包的深度检测技术，针对不同的网络应用层载荷进行深度检测，通过对报文的有效载荷检测决定其合法性。DPI设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。

XDR数据是指基于全量数据进行处理后，生成的供信令监测平台和信令类应用使用的信令及业务的详细记录。

通过DPI设备和城域网核心路由分光及部署点，能够对城域网核心路由流量数据具有采集能力。通过DPI设备进行采集流量数据，可形成XDR流量数据。但目前大部分DPI采集点设备不能或不能准确的判断向域内、向域外流向，而且现在的采集数据中由于各种原因，大量DPI设备中存在数据噪音，影响后期研判。

目前，各个省市的通信行业相关部门及企业，通过在省市内的全部企业运营商处部署EU活跃流量采集设备，EU设备可以按照国家互联网监管的要求将采集到的流量中的http、https、ftp、pop3、smtp等等数据上报，以便国家通信监管部门进行数据监管，数据分析。但由于缺乏有效的核验方法，导致流量存在大量漏报情况。特别是针对链路在专线网络链路和特殊网络的漏覆盖检测，无法通过互联网通用手段或现行的监测系统方案去发现及核验，而城域网数据参与核验是一个比较有效的补充手段。

本发明的一种抗噪音干扰的城域网数据核验装置能够将目前DPI设备采集的城域网DPI流量数据进行多重去噪音处理，分析获取域内数据，并对EU采集的数据提供核验依据，发现EU设备采集数据的错漏情况。

发明内容

鉴于现有技术的不足，本发明提供的一种抗噪音干扰的城域网数据核验装置由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；

XDR数据采集器负责通过分光设备采集城域网设备产生的XDR数据，并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址，生成包括源MAC地址和目的MAC地址的XDR数据；

重复数据剥离器负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理，并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作，生成去重的XDR数据；

第一次降噪模块对去重的XDR数据进行降噪处理，包括：1）去掉缺失源IP地址的去重的XDR数据，去掉缺失目的IP地址的去重的XDR数据；2）源MAC地址与目的MAC地址重复的数据；3）源IP地址与目的IP地址相同的数据；生成第一次降噪的XDR数据；

由第三方IP地址数据接口获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据，常见的IP地址及所在地对应数据提供方包括：百度接口、新浪接口、腾讯接口、IPIPNET；