[发明专利]一种数据处理方法、装置、系统及电子设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收任务调度模块(4)从分布式消息队列(3)中调度的上传事件；所述上传事件是车载客户端将其原始信号数据存储至分布式存储子系统(2)的第一存储路径下以后，发送至所述分布式消息队列(3)中，所述上传事件包括所述第一存储路径的信息；

根据所述第一存储路径的信息，从所述分布式存储子系统(2)的第一存储路径下获取所述原始信号数据；

将所述原始信号数据处理为预设格式的数据；

将所述预设格式的数据存储至所述分布式存储子系统(2)的第二存储路径下，所述第二存储路径与所述第一存储路径的存储路径不同。

2.根据权利要求1所述的数据处理方法，其特征在于，

所述预设格式的数据为Parquet格式。

3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述原始信号数据处理为预设格式的数据，包括：

对所述原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

4.根据权利要求1所述的数据处理方法，其特征在于，对所述原始信号数据进行处理的结果还包括所述原始信号数据的元信息；

其中，所述方法还包括：

将所述原始信号数据的元信息存储至元数据管理子系统(5)。

5.根据权利要求1所述的数据处理方法，其特征在于，所述原始信号数据，包括：未经处理的原始信号数据和处理失败的原始信号数据。

6.一种数据处理装置，其特征在于，包括：

获取模块(11)，包括路径信息获取单元(111)和数据获取单元(112)，

所述路径信息获取单元(111)用于接收任务调度模块(4)从分布式消息队列(3)中调度的上传事件；所述上传事件是车载客户端将其原始信号数据存储至分布式存储子系统(2)的第一存储路径下以后，发送至所述分布式消息队列(3)中，所述上传事件包括所述第一存储路径的信息；

所述数据获取单元(112)用于根据所述第一存储路径的信息，从所述分布式存储子系统(2)的第一存储路径下获取所述原始信号数据；

数据处理模块(12)，用于将所述原始信号数据处理为预设格式的数据；

发送模块(13)，用于将所述预设格式的数据存储至所述分布式存储子系统(2)的第二存储路径下，所述第二存储路径与所述第一存储路径的存储路径不同。

7.根据权利要求6所述的数据处理装置，其特征在于，

所述预设格式的数据为Parquet格式。

8.根据权利要求6所述的一种数据处理装置，其特征在于，所述数据处理模块(12)包括：

数据处理单元(121)，用于对所述原始信号数据进行至少包括数据解析、完整性检验、非法记录过滤、同步和采样的操作。

9.根据权利要求6所述的一种数据处理装置，其特征在于，对所述原始信号数据进行数据处理的结果还包括所述原始信号数据的元信息；

其中，所述发送模块(13)还用于，将所述原始信号数据的元信息发送至元数据管理子系统(5)以进行存储。

10.根据权利要求6所述的一种数据处理装置，其特征在于，所述原始信号数据，包括：未经处理的原始信号数据和处理失败的原始信号数据。

11.一种数据处理系统，其特征在于，包括如权利要求6-10任一项所述的一种数据处理装置(1)，还包括分布式存储子系统(2)；

所述数据处理装置(1)将从所述分布式存储子系统(2)获取的原始信号数据处理为预设格式的数据，并将所述预设格式的数据存储至所述分布式存储子系统(2)的第二存储路径下。