[发明专利]对弱势交通参与者中稀有类别进行数据增强的方法和系统

说明书

本发明涉及深度学习领域。本发明提供一种用于对弱势交通参与者中的稀有类别进行数据增强的方法，所述方法包括以下步骤：获取弱势交通参与者的原始数据样本；对所述原始数据样本进行预处理，提取出稀有类别；基于生成式模型对所述稀有类别的数据进行定向生成，以形成附加数据样本；以及将所生成的附加数据样本与原始数据样本混合，以形成平衡数据样本。本发明还提供一种用于对弱势交通参与者中的稀有类别进行数据增强的系统和一种机器可读的存储介质。本发明旨在解决自动驾驶车辆的基于机器学习的感知系统训练过程中不同社会属性的道路参与者的训练数据集分布不均衡的问题，以最终提高对弱势交通参与者的保护。

技术领域

本发明涉及一种用于对弱势交通参与者(vulnerable road user,VRU：易受伤害的道路使用者)中的稀有类别进行数据增强的方法、一种用于对弱势交通参与者中的稀有类别进行数据增强的系统和一种机器可读的存储介质。

背景技术

智能驾驶系统中，感知系统占据重要的一环，因为感知系统能反馈当前汽车所处环境中的情况，为其下游系统提供信息。其信息的准确程度和丰富程度与汽车的安全性与可靠性密切相关。

现有的智能驾驶感知系统大多只关注车辆，行人，交通标志，车道线，可通行区域等目标，障碍物和场景的识别与定位。而在真实的道路交通环境中，人作为道路交通最重要的参与者，除了具备自身类别等自然属性之外，其各个个体所具备的社会身份属性不但决定了其在道路交通活动中所具有的一般意义的行为模式，而且还往往蕴含某些其职业身份所特有的行为含义。如同样是挥手动作，普通行人可能是招停出租车，交通警察则可能是指挥交通，而道路施工人员则有可能是指挥施工等。对于智能驾驶系统来说，识别行人的职业信息或社会属性不但可以更好地理解其意图，而且有助于其对各个行人个体下一步的行为及运动做出更准确合理的预判，从而大大提高自身环境感知和决策能力。

利用卷积神经网络进行职业分类是一个可行的选择。基于卷积神经网络的分类器需要大量实际采集的数据对网络进行训练从而使其学会判别行人的类别。然而，在一般交通道路中采集到的数据所含有的类似交警、警察、军人、施工工人等类别的数量对比普通行人相去甚远。因此自然采集的数据集存在明显的数据分布不均的问题。如果在此数据集上训练一个可以区分VRU类别的分类器，分类器会在占据绝大多数的类别上判断尚佳，而在占少数的类别表现较差。主要原因一方面在于少量图片并不足以使神经网络学习到足够的匹配关系，另一方面在于训练过程中模型的评估标准不适应数据分布极端不均的情况，致使占大多数的类别对评估结果起到决定性作用。

传统解决数据不均的方法主要包括两种，一种是从数据本身下手，先对数据进行数据挖掘，了解数据中存在的问题，并对少数的类别进行补全。这种方法需要耗费大量的人力物力，如果数据量差距达到一定量级，很难进行良好的补全。另一种是对训练过程进行改进。通过对不同类别采取不同的采样权重或对损失函数进行改进从而放大小类别的影响。这种方法一方面需要对原本的数据进行大量的数据挖掘，并在神经网络训练过程中不断调试；另一方面该方法提升空间有限，达到一定程度后便很难继续提升。

发明内容

本发明的目的在于提供一种用于对弱势交通参与者中的稀有类别进行数据增强的方法、一种用于对弱势交通参与者中的稀有类别进行数据增强的系统和一种机器可读的存储介质。

根据本发明的第一方面，提供一种对弱势交通参与者中的稀有类别进行数据增强的方法，所述方法包括以下步骤：

S1：获取弱势交通参与者的原始数据样本；

S2：对所述原始数据样本进行预处理，以提取出稀有类别；

S3：基于生成式模型对所述稀有类别的数据进行定向生成，以形成附加数据样本；以及

S4：将所生成的附加数据样本与原始数据样本混合，以形成平衡数据样本。