[发明专利]一种数据处理方法、装置、电子设备和存储介质

说明书

本申请涉及数据库技术领域，尤其涉及一种数据处理方法、装置、电子设备和存储介质，用以提高数据处理效率。其中，方法包括：获取多条报文数据以及各报文数据的标识信息，报文数据的格式为层级数据格式HDF5；基于各报文数据的标识信息，将各报文数据划分为多个报文集合；基于预设映射规则，分别对多个报文集合中的报文数据进行映射，获得各报文集合的报文记录，并将各报文记录存储在云原生多模数据库中。由于本申请通过预先将HDF5报文数据按照发送方和发送时间划分为多个报文集合，并基于预设映射规则，将报文集合压缩为一条报文记录，直接存储在云原生多模数据库即可，能够有效提高数据处理效率。

技术领域

本申请涉及电信技术领域，尤其涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术

层级数据格式(Hierarchical Data Format，HDF)是设计用来存储和组织大量数据的一组文件格式。从二十世纪九十年代开始，HDF格式成为存储和发布地球观测系统(Earth Observation System，EOS)数据的标准格式，当前版本是HDF5。基于这个历史原因，国内外航空业普遍采用HDF5作为航空报文的存储格式。由于云原生多模数据库能够提供宽表、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析，目前，主要是通过云原生多模数据库对HDF5航空报文数据进行存储。

相关技术中，在将HDF5航空报文数据导入云原生多模数据库的过程中，通过云原生多模数据库的写入模块将HDF5航空报文数据转化为二进制数据，并写入队列，然后批量提交给存储模块，存储模块对接收的数据进行保存和管理。但是，由于HDF5航空报文数据量大，存储模块的性能受机器性能影响，容易成为数据导入过程的瓶颈，基于上述方式进行数据导入，导入速度缓慢。效率低。

发明内容

本申请实施例提供一种数据处理方法、装置、电子设备和存储介质，用以提高数据处理效率。

本申请实施例提供的一种数据处理方法，包括：

获取多条报文数据以及各条所述报文数据的标识信息，所述报文数据的格式为层级数据格式HDF5，所述标识信息用于标识对应的报文数据的发送方和发送时间；

基于各条所述报文数据的标识信息，将各条所述报文数据划分为多个报文集合，每个报文集合中包含的报文数据的发送方相同，且发送时间属于同一时间区间；

基于预设映射规则，分别对所述多个报文集合中的报文数据进行映射，获得各个报文集合各自的报文记录，并存储将各个所述报文记录存储在云原生多模数据库中。

在本申请中，基于HDF5报文数据结构清晰明了的特性，预先将报文数据按照发送方和发送时间划分为多个报文集合，在将报文数据导入云原生多模数据库过程中，基于预设映射规则，将报文集合压缩为一条报文记录，能够大幅减少报文所需占用的存储空间，最后直接将报文记录存储在云原生多模数据库即可，能够有效提高数据处理效率。

在一种可选的实施方式中，所述基于预设映射规则，分别对所述多个报文集合中的报文数据进行压缩，获得各个报文集合各自的报文记录，包括：

针对任意一个报文集合，基于所述任意一个报文集合中的各条报文数据的标识信息的相同字段，对所述各条报文进行合并得到合并报文；

基于预设映射规则对所述合并报文进行映射，获得所述报文集合对应的报文记录。

基于上述方式，通过按照报文数据的相同字段合并报文数据，能够减少报文数据中的重复数据，减少报文数据所需占用的存储空间，进而在将报文数据导入云原生多模数据库过程中，提高数据处理效率。

在一种可选的实施方式中，在所述基于各条报文数据各自的标识信息，将所述各条报文数据划分为多个报文集合之前，还包括；