[发明专利]数据处理方法和汽车大数据管理云平台

说明书

本发明涉及大数据技术领域，特别是涉及一种数据处理方法和汽车大数据管理云平台。该方法包括：获取汽车关联数据；确定所述汽车关联数据的数据传输通道；其中，所述数据传输通道包括根据数据接口、数据计算系统、Alluxio存储系统和HDFS集群确定的第一通道，以及根据业务接口和HDFS集群确定的第二通道；通过确定的所述数据传输通道处理所述汽车关联数据。本发明实施例提供的数据处理方法和汽车大数据管理云平台，能够加快数据处理效率，特别是提高数据传输和数据查询的效率，从而满足了所述云平台业务发展的需求。

技术领域

本发明涉及大数据技术领域，特别是涉及一种数据处理方法和汽车大数据管理云平台。

背景技术

目前，在汽车诊断维修云服务覆盖全球上百万家汽修店业务量基础上，云服务每天会有数千万次的设备检测业务，数百万次的检测、诊断设备接入到云服务平台，与此同时，海量的设备检测业务也产生了大量的数据，这些数据都需要存储于云服务的大数据平台上。该平台基于这些数据进行实时计算和离线作业等数据处理，以为用户提供服务。例如，根据该平台能够为用户提供报表查询等业务，有一种类型为即席报表查询的需求，当前业界常采用的即席查询方案包括采用SQL on Hadoop，基于Hive on MR/Spark SQL的查询场景，等。

发明人在实现本发明实施例的过程中，发现相关技术在数据处理时存在查询速度慢等问题，从而极大影响了系统数据分析和处理的效率。

发明内容

本发明要解决的技术问题是提供一种数据处理方法和汽车大数据管理云平台，以解决相关技术在数据处理时存在查询速度慢的技术问题。

为了解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供了一种数据处理方法，所述方法应用于汽车大数据管理云平台，所述汽车大数据管理云平台包括数据接口、业务接口、数据计算系统、Alluxio存储系统和HDFS集群，所述方法包括：

获取汽车关联数据；

确定所述汽车关联数据的数据传输通道；其中，所述数据传输通道包括根据所述数据接口、所述数据计算系统、所述Alluxio存储系统和所述HDFS集群确定的第一通道，以及根据所述业务接口和所述HDFS集群确定的第二通道；

通过确定的所述数据传输通道处理所述汽车关联数据。

可选地，所述汽车关联数据包括汽车检测诊断数据和汽车业务服务数据；

所述确定所述汽车关联数据的数据传输通道包括：

当所述汽车关联数据是所述汽车检测诊断数据时，确定所述汽车关联数据的数据传输通道为所述第一通道；当所述汽车关联数据是所述汽车业务服务数据时，确定所述汽车关联数据的数据传输通道为所述第二通道。

可选地，当所述汽车关联数据的数据传输通道为所述第一通道时，所述通过确定的所述数据传输通道处理所述汽车关联数据包括：

控制所述数据接口基于MQTT协议获取所述汽车检测诊断数据；

根据所述汽车检测诊断数据的重要性确定其对应的写策略；

根据所述确定的写策略在所述第一通道处理所述汽车检测诊断数据。

可选地，所述根据所述确定的写策略在所述第一通道处理所述汽车检测诊断数据包括：

当所述写策略为只写Alluxio策略时，则基于所述第一通道将所述汽车检测诊断数据写入所述Alluxio存储系统；

当所述写策略为同步到HDFS策略时，则基于所述第一通道将所述汽车检测诊断数据写入所述Alluxio存储系统和所述HDFS集群；