[发明专利]一种机载二进制文件通用并行的解析方法、装置及电子设备

说明书

本发明提供一种机载二进制文件通用并行的解析方法、装置及电子设备，涉及计算机数据处理技术领域；其方法包括分别配置不同文件类型二进制文件的存储结构，包括配置二进制文件的文件头、包含的数据块，以及数据块的数据结构、数据类型和转换函数；根据配置信息读取数据块，附加主题信息和时间戳标签后发送至消息队列，以便消息队列的消费端并行获取队列中的数据块，并根据主题信息获取数据块的数据结构、数据类型及其对应的转换函数，解析数据并保存至文本文件。通过图形化配置实现自定义文件解析规则，实现对不同机型的二进制文件的通用化并行解析；并采用消息队列将二进制文件解析分解为数据块生产和数据解析消费，极大的缩短大文件解析时间。

技术领域

本发明涉及计算机数据处理技术领域，具体涉及一种机载二进制文件通用并行的解析方法、装置及电子设备。

背景技术

在飞机飞行期间，机载设备记录了飞机运行时来自于传感器、雷达等设备发送过来的大量数据，这类数据具有数据量大、存储频次高等特点。而机载设备大都是嵌入式设备，这些设备的存储资源、计算能力都收到限制，所以业界通用的做法都是将这些数据按照自定义数据结构直接存储在二进制文件中，待飞机落地后再下载到地面的数据中心，通过数据处理软件进行解析、转换为可读的半结构化文件。

目前机载设备繁多，同一种机载设备在不同的机型中存储的二进制文件数据结构也不相同，没有一个统一的标准。当前系统通常会提供机载设备的数据格式描述文件，一般为excel或xml文件，这些描述文件定义了数据块的数据类型、长度、大小端类型等，解析处理软件在读取数据块后根据描述文件对数据块进行解析，并根据数据类型进行一对一转换。这种方式需要针对指定的描述文件进行定制化处理，导致大量的重复低效工作。

随着数据中心中云计算和大数据技术发展，传统的单机数据处理方式在应对大文件解析时效率非常低，不能有效利用数据中心的分布式处理能力来提高处理效率。

发明内容

本发明目的在于提供一种机载二进制文件通用并行的解析方法、装置及电子设备，解决传统的单机数据处理方式在应对大文件解析时效率非常低、不能有效利用数据中心的分布式处理能力来提高处理效率的技术问题。

为达成上述目的，本发明提出如下技术方案：一种机载二进制文件通用并行的解析方法，包括：

分别配置不同文件类型二进制文件的文件结构，包括配置二进制文件的文件头、包含的数据块、数据块的数据结构、数据块的数据类型及其对应的转换函数；

根据二进制文件的配置信息读取待解析二进制文件中的数据块，逐个附加主题信息和时间戳标签后发送至消息队列，以便消息队列的消费端并行获取消息队列中的数据块，并根据数据块的主题信息获取数据块的数据结构、数据类型及其对应的转换函数，进而依据配置的二进制文件的文件结构解析上述二进制文件的数据并保存至文本文件。

进一步的，所述配置二进制文件的文件结构包括：

配置数据类型，包括指定数据类型的名称、数据读取的字节长度和数据解析返回类型；

配置数据解析脚本，并指定测试样例，以便测试数据解析脚本按期望正确执行；其中，测试成功的数据类型可被数据块引用；

配置数据块，包括添加字段、定义字段名称、支持的数据类型和描述信息；

配置文件结构，包括文件头及文件体；所述文件头置空或配置一特定数据类型的数据块，所述文件体配置一种或者多种数据块；其中，所述文件体配置多种数据块时，任一数据块定义有固定值字段。

进一步的，所述根据二进制文件的配置信息读取待解析二进制文件中的数据块为根据指定的文件类型以及文件大小进行数据读取，并将读取的数据进行消息发布，包括：

根据指定的文件类型，选择文件智能识别策略；