[发明专利]数据处理方法、装置、存储介质和电子设备

说明书

本发明公开了一种数据处理方法、装置、存储介质和电子设备。其中，该方法包括：采用车辆端的自动采集程序获取驾驶数据；将上述驾驶数据发送至云端进行查重校验，得到查重结果；对上述查重结果为非重复数据的上述驾驶数据进行分析处理，得到处理结果。本发明解决了现有技术中数据量庞大，算法迭代速度较低且工作人员工作流程复杂的技术问题。

技术领域

本发明涉及电子信息技术领域，具体而言，涉及一种数据处理方法、装置、存储介质和电子设备。

背景技术

在自动驾驶技术的开发过程中，需要海量的数据保证算法迭代速度。在现有的处理流程中，需通过采集员手动在车辆端采集数据，完成数据采集，还需要手动拷贝至服务器，并由采集员手动对采集数据进行补充、上传、提交等操作，最后由服务器完成数据的处理。

但是，现有的处理流程依赖于采集员手工操作，不仅会占用大量的人力资源，同时会拖慢数据处理进度，严重影响自动驾驶系统的研发与发展。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法、装置、存储介质和电子设备，以至少解决现有技术中数据量庞大，算法迭代速度较低且工作人员工作流程复杂的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，包括：采用车辆端的自动采集程序获取驾驶数据；将上述驾驶数据发送至云端进行查重校验，得到查重结果；对上述查重结果为非重复数据的上述驾驶数据进行分析处理，得到处理结果。

可选地，在上述采用车辆端的自动采集程序获取驾驶数据之后，上述方法还包括：判断自动保存程序是否满足触发条件，其中，上述触发条件包括以下至少之一：检测到路口、检测到障碍物、检测到红绿灯；若判断上述自动保存程序满足上述触发条件，则记录第一预设时间段内获取到的上述驾驶数据，得到目标驾驶数据；若判断上述自动保存程序不满足上述触发条件，则清除第二预设时间段内获取到的上述驾驶数据。

可选地，在上述记录第一预设时间段内获取到的驾驶数据之后，上述方法还包括：为上述第一预设时间段内获取到的上述目标驾驶数据添加场景标签。

可选地，上述方法还包括：判断上述驾驶数据是否存在已处理标识；若上述驾驶数据不存在上述已处理标识，则将上述驾驶数据发送至云端进行查重校验。

可选地，将上述驾驶数据发送至云端进行查重校验，得到查重结果，包括：获取上述驾驶数据对应车辆的基础信息；计算上述基础信息、上述驾驶数据与历史数据的相似度值，其中，上述历史数据包括：历史基础信息、历史驾驶数据；若上述相似度值大于预设相似度阈值，则确定上述查重结果为重复数据，并为上述驾驶数据添加已处理标识；若上述相似度值小于上述预设相似度阈值，则确定上述查重结果为上述非重复数据，并将上述驾驶数据存储至分布式存储系统。

可选地，对上述查重结果为非重复数据的上述驾驶数据进行分析处理，得到处理结果，包括：获取上述分布式存储系统中存储的上述驾驶数据；对上述驾驶数据进行分析处理，得到处理结果并添加已处理标识。

根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：获取模块，用于采用车辆端的自动采集程序获取驾驶数据；校验模块，用于将上述驾驶数据发送至云端进行查重校验，得到查重结果；处理模块，用于对上述查重结果为非重复数据的上述驾驶数据进行分析处理，得到处理结果。

可选地，上述校验模块，包括：获取单元，用于获取上述驾驶数据对应车辆的基础信息；计算单元，用于计算上述基础信息、上述驾驶数据与历史数据的相似度值，其中，上述历史数据包括：历史基础信息、历史驾驶数据；第一确定单元，用于若上述相似度值大于预设相似度阈值，则确定上述查重结果为重复数据，并为上述驾驶数据添加已处理标识；第二确定单元，用于若上述相似度值小于上述预设相似度阈值，则确定上述查重结果为上述非重复数据，并将上述驾驶数据存储至分布式存储系统。