[发明专利]一种数据包的应用层压缩方法及系统

说明书

本实施例涉及数据包压缩技术领域，公开了一种数据包的应用层压缩方法及系统，该方法包括：基于分析需求，确定有效数据的数据特征；根据数据特征构建识别模型；适配于数据端口部署识别模型，获取有效数据；对识别得到的有效数据进行压缩封装。本发明实施例中，通过对有效数据进行分析识别，对同类别的数据包的包头进行剥除，以及对包体进行压缩封装，实现了将大量包头一致、包体简短的数据包转化为少量的压缩数据包，有效释放了大量的传输信道与存储空间，且压缩数据包中的有效数据可直接应用于数据分析工作，提高了分析效率。

技术领域

本发明涉及数据包压缩技术领域，尤其涉及一种数据包的应用层压缩方法及系统。

背景技术

在进行流量分析、安全监测、数据统计等过程中，通常采用抓取数据包后再抽取数据的方法进行分析，而在对部分节点性质的站点进行分析时发现，此类站点具有数据数据流量大、数据实时性强的特点，在此类站点所抓取到的数据包数量巨大，但绝大多数的数据包所包含的信息为业务流程中的同步交换数据，此类同步交换数据对于分析过程而言是无效数据，其包头长度往往大于包体长度，且包头大量重复，这使得抓取到的无效数据占据了大量的缓存与存储空间，干扰了后续的数据分析工作。

发明内容

本发明实施例公开一种数据包的应用层压缩方法及系统，通过对有效数据进行分析识别，对同类别的数据包的包头进行剥除，以及对包体进行压缩封装，实现了将大量包头一致、包体简短的数据包转化为少量的压缩数据包，有效释放了大量的传输信道与存储空间，且压缩数据包中的有效数据可直接应用于数据分析工作，提高了分析效率。

本发明实施例第一方面公开一种数据包的应用层压缩方法，所述方法包括：

基于分析需求，确定有效数据的数据特征；

根据所述分析需求所指示的数据类型构造第一拦截层，用以筛除数据类型不匹配的无效数据；

根据所述分析需求所指示的平均传输时延及平均传输频率，配合预设信道带宽构造第二拦截层，用以筛除数据量超范围的无效数据；

根据所述分析需求所指示的平均头体比例构造第三拦截层，用以筛除头体比例超范围的无效数据；

依次布置所述第一拦截层、所述第二拦截层及所述第三拦截层，并进行通道属性配置，构建得到识别模型；

适配于数据端口部署所述识别模型，获取有效数据；

分析所述有效数据的包头，构造对应于包头类型的若干数据子集，以及，为每一所述数据子集设定子集限长；

剥除所述有效数据的包头，依据包头类型将所述有效数据的包体所包含的数据置入对应的数据子集中；

构造对应于所述包头类型的包头，对达到所述子集限长的任一数据子集进行压缩封装，得到压缩数据包。

优选的，在所述基于分析需求，确定有效数据的数据特征之前，所述方法还包括：

分析历史数据包，归纳得到若干数据类型；

遍历所述历史数据包中每一单位数据的传输时延，计算每一数据类型所对应的平均传输时延；

遍历所述历史数据包中每一数据类型所对应的平均传输频率；

分析所述每一单位数据的包头相对包体的头体比例，得到每一数据类型所对应的平均头体比例；

综合所述平均传输时延、所述平均传输频率及所述平均头体比例，构建与数据类型相对于的数据特征库。

优选的，所述基于分析需求，确定有效数据的数据特征，包括：

基于分析需求构造若干有效数据；

分析得到所述有效数据的第一数据特征；