[发明专利]一种数据处理方法、装置、系统及电子设备

说明书

本发明公开了一种数据处理方法、装置、系统及电子设备。该数据处理方法包括如下步骤：接收任务调度模块从分布式消息队列中调度的上传事件；上传事件包括第一存储路径的信息；根据第一存储路径的信息，从分布式存储子系统的第一存储路径下获取原始信号数据；将原始信号数据处理为预设格式的数据；将预设格式的数据存储至分布式存储子系统的第二存储路径下，第二存储路径与第一存储路径的存储路径不同。该方法通过对车辆自动驾驶待处理的信号数据进行分布式云存储和云计算，满足了海量数据处理的要求，且实现了规范化存储；同时，经过处理的数据采用格式自解释，数据字段和数据路径存储于元数据管理子系统中，便于技术人员在后续工作的调用和处理。

技术领域

本发明涉及分布式存储和计算领域，特别涉及一种数据处理方法、装置、系统及电子设备。

背景技术

电动汽车在行驶中会产生大量的内部信号数据，相当一部分与自动驾驶系统或自动辅助驾驶系统相关。这些数据具备如下特点：一是数据量大，该数据产生的周期在几毫秒至几十毫秒之间；二是数据种类多，该数据信号来自于汽车内部各个模块，接收装置有若干种，产生的数据也对应分为若干种；三是数据格式复杂，这些数据的字段有近千个，一般采用二进制保存，原始数据需要专业工具来解析；四是数据可能来源于多辆汽车；五是数据的字段变化频繁。

在现有技术中，一般将车辆中的自动驾驶信号数据导入机械硬盘中，技术人员将机械硬盘中的车辆自动驾驶信号数据导入电脑，使用专业工具进行解析和分析，但此种数据处理的方法存在诸多不足，如：车辆的数据较多，且存在软件版本的不同时，大量的数据不便于管理；同一辆车在不同时段的数据不便于管理；车辆内部不同类型的数据不便于管理；大量的原始信号数据在一台电脑上进行解析和分析，耗费大量时间，处理效率低；经过处理的数据共享性差，不利于其他技术人员快速获取并进行进一步的分析和处理。

发明内容

本发明实施例的目的是提供一种数据处理方法、装置、系统及电子设备，通过对车辆自动驾驶待处理的信号数据进行分布式云存储和分布式云计算，解决了传统的数据处理方式单一，数据处理速度慢、效率低，耗费时间长，无法满足海量数据处理的要求；原始信号数据和处理后的数据均按照一定规定对文件路径进行规范，使得多车辆、多时间、多版本、多类型的数据实现规范化存储，便于技术人员在后续工作中调用与查看；经过处理的数据采用格式自解释，该数据的数据字段和数据路径存储于元信息存储子系统中，便于技术人员在后续工作的调用和处理。

为解决上述技术问题，本发明实施例的第一方面提供了一种数据处理方法，包括如下步骤：

接收任务调度模块从分布式消息队列中调度的上传事件；所述上传事件是车载客户端将其原始信号数据存储至分布式存储子系统的第一存储路径下以后，发送至所述分布式消息队列中，所述上传事件包括所述第一存储路径的信息；

根据所述第一存储路径的信息，从所述分布式存储子系统的第一存储路径下获取所述原始信号数据；

将所述原始信号数据处理为预设格式的数据；

将所述预设格式的数据存储至所述分布式存储子系统的第二存储路径下，所述第二存储路径与所述第一存储路径的存储路径不同。

进一步地，所述预设格式的数据为Parquet格式。

进一步地，所述将所述原始信号数据处理为预设格式的数据，包括：

对所述原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

进一步地，对所述原始信号数据进行处理的结果还包括所述原始信号数据的元信息；

其中，所述方法还包括：

将所述原始信号数据的元信息存储至元数据管理子系统。

进一步地，所述原始信号数据，包括：未经处理的原始信号数据和处理失败的原始信号数据。