[发明专利]一种二进制数据包的解析方法及系统

说明书

本发明提供了一种二进制数据包的解析方法及系统，涉及数据处理的技术领域，包括：获取待解析二进制数据包，并基于待解析二进制数据包的类型，确定出待解析二进制数据包对应的配置信息；利用配置信息、向量化引擎和向量归一化引擎，确定出待解析二进制数据包的可执行代码；基于可执行代码和向量化引擎的执行代码，构建字节码，其中，字节码用于表征执行待解析二进制数据包的解析作业；基于服务调度信息，将字节码发送至Spark基础平台，以对待解析二进制数据包进行解析，得到解析结果，解决了现有技术中对二进制数据包进行解析的效率较低的技术问题。

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种二进制数据包的解析方法及系统。

背景技术

随着大数据时代的来临，数据量与日俱增，计算和存储都面临着巨大的压力，高效传输、存储和数据处理成了亟待解决的问题，由于二进制数据包紧凑、通用、可靠且安全性高，在数据传输和存储方面有显著效果。但是由于二进制数据描述信息少且承载数据多的特点导致在解析二进制数据包时出现了以下问题。

由于二进制数据包可描述信息少，每种二进制数据包都需要有相应的数据接口按照数据字段索引和长度进行切割解析。传统的解析方式是对每种二进制数据包数据接口进行编码支持，缺点是数据接口配置不灵活，大部分以硬编码的形式存在，在数据接口过多时无法进行管理，且代码冗余度高，只需配置二进制包数据接口就能根据描述信息进行解析的方式，通过导入接口灵活配置数据接口，便于管理，减少代码冗余，解放生产力。

在传统解析流程中，二进制包数据源头、数据接口和调度执行信息等相对分散，每个解析任务都不同，各个环节错综复杂，数据描述信息无法进行有效的关联，在解析任务出错时，无法回溯问题；基于实时数据处理，在任务出错时，无法进行重试，新执行的作业状态无法回滚到出问题之前的时间点，不能保证数据exactly-once无丢失，需要高容错的处理流程来解决上述问题。

传统解析二进制包数据方式中每种数据都需要进行编写代码适配，解析流程强依赖代码编程实现，有很多地方需要人为介入，缺点是非自动化工作效率极低，时间浪费在各个流程编码对接上，需要一键式自动化解析全流程实现，只需配置任务描述信息即可自动化解析数据；

二进制数据包承载数据多，二进制数据包往往包含很多子包，每个子包数据解析接口比较复杂，单个数据包数据量比较大，传统方式是单机计算模式或者使用并行计算框架进行解析计算，以并行计算框架为例，当前基于并行计算框架的数据解析其核心思想是把一个数据解析作业拆分成若干个子task,每个子task分布在多个服务器的CPU上执行，并行计算的最小维度在CPU，并行计算的瓶颈卡在CPU的个数上，只能通过增加内存资源和CPU个数来扩展计算资源。缺点是无法高效利用CPU的并行处理机制，在大数据量的数据解析上，计算性能会很差，会造成数据大量积压，数据解析低延时得不到保证。需要高效解析二进制包数据包的方式，单位时间内解析速度变快，即增大数据吞吐量，低延时问题得以解决。

发明内容

有鉴于此，本发明的目的在于提供一种二进制数据包的解析方法及系统，以缓解了现有技术中对二进制数据包进行解析的效率较低的技术问题。

第一方面，本发明实施例提供了一种二进制数据包的解析方法，包括：获取待解析二进制数据包，并基于所述待解析二进制数据包的类型，确定出所述待解析二进制数据包对应的配置信息，其中，所述配置信息包括：所述待解析二进制数据包的描述信息对应的标识，接口信息，服务调度信息，数据源信息；利用所述配置信息、向量化引擎和向量归一化引擎，确定出所述待解析二进制数据包的可执行代码；基于所述可执行代码和所述向量化引擎的执行代码，构建字节码，其中，所述字节码用于表征执行所述待解析二进制数据包的解析作业；基于所述服务调度信息，将所述字节码发送至Spark基础平台，以对所述待解析二进制数据包进行解析，得到解析结果。