[发明专利]自动驾驶数据处理跟踪方法、系统及车辆

说明书

本发明提供了一种自动驾驶数据处理跟踪方法、系统及车辆，其中，自动驾驶数据处理跟踪方法，通过关系型数据库在分布式存储上面的应用，能够对在数据处理过程中出现的每一个文件进行有效的定位、分类、跟踪和搜索，实现有效跟踪数据处理链中的每一个环节、直接定位出错的环节并且可以从出错的环节继续运行数据处理，解决在海量数据处理过程中时间和计算力浪费的问题。

技术领域

本发明涉及大数据技术领域，更具体地，涉及一种自动驾驶数据处理跟踪方法、系统和具有该系统的车辆。

背景技术

在自动驾驶技术中，摄像头和激光雷达取代了人眼，机器学习和神经网络则取代了人的大脑。无论是做各种仿真场景的测试还是训练自动驾驶技术的大脑-神经网络都需要海量的数据，包括摄像头数据、激光雷达数据、地图数据、车辆总线数据等等。这些数据包括实际道路采集得到的数据，更多的则是基于场景模拟仿真系统产出的数据，可达上百PB级别。这些原始的场景数据文件往往经过多个步骤的处理，比如剪切、清洗、各种数据格式的转换，最终生成对研发过程有价值的数据格式文件。在整个数据处理链中，如果有一处数据处理出了错，研发人员需要在数据处理的错误日志中查找错误，解决此处数据处理程序的缺陷，然后重新运行整个数据处理流程，直到错误很少或者没有错误出现为止。这将是一个相当漫长的过程，并且会导致计算资源的大量浪费。

在目前的自动驾驶数据处理过程中存在以下几点问题：

自动驾驶研发需要对采集的或者仿真生成的数据文件进行一系列的处理，比如剪切、清洗和各种格式转换，在处理的过程中又会产生各种结果数据文件。因此如何跟踪这些原始数据文件、如何知道在某个原始数据文件上执行了哪些操作、生成了哪些结果文件是自动驾驶数据流程管理中必须解决的一个问题。

自动驾驶数据量往往巨大，数据量往往在几十甚至上百PB，完成大规模的数据处理需要花费很长的时间和很多的计算资源。因此如何避免因为中国数据处理链中的一个环节的错误导致重复的计算是海量数据处理需要解决的一个问题。

一个自动驾驶的数据处理链中包含很多环节，每个环节都可能出错。如何能够快速定位错误，修复错误也是自动驾驶数据处理流程中需要解决的问题。

发明内容

本发明第一方面的一个目的是要解决如何避免在海量数据的数据处理链中因某个环节的错误而导致需要重复计算，从而浪费了处理时间和计算资源的问题。

本发明第一方面的一个进一步的目的是要对自动驾驶的数据处理链中的每个环节进行状态跟踪和快速定位，达到最优化计算力和计算流程的目的。

特别地，本发明提供了一种自动驾驶数据处理跟踪方法，包括以下步骤：

S1、建立自动驾驶数据存储管理集群；

S2、将分布式存储系统添加到所述存储管理集群中；

S3、将关系型数据库添加到所述存储管理集群中；

S4、道路数据采集：记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据并打上数据标签和元数据标签写入到数据文件中，将数据文件存储在SSD闪存里；

S5、数据上传：将所述SSD闪存里的数据上传到所述分布式存储系统里；

S6、运行数据文本导入脚本：将原始数据在所述分布式存储系统中的文件路径、文件名以及相对应的标签数据写入关系型数据库；

S7、运行标签数据和元数据脚本：把标签数据和原始数据文件定位的映射关系以及元数据设备标签和原始数据文件定位的映射关系写入关系型数据库中；

S8、运行文件处理脚本：对场景文件进行处理，将原文件、操作名称和处理后的文件映射关系写入关系型数据，将出错节点的名称和输入文件写入关系型数据库进行入库存储；

S9、开发数据存储管理应用和前端UI。