[发明专利]用于数据处理的方法和设备

说明书

本发明涉及计算机技术领域。本发明提供一种用于数据处理的方法，所述方法包括以下步骤：S1：按照是否有标注信息将数据样本划分为有标注的第一数据和无标注的第二数据；S2：结合第一数据获取用于表征样本标注价值的第一指标；S3：结合第一数据和第二数据基于自监督学习获取用于表征样本标注价值的第二指标，所述第二指标不同于第一指标；以及S4：借助第一指标和第二指标从第二数据筛选出待标注数据并对其进行标注。本发明还提供一种用于目标检测的方法、一种用于数据处理的设备和一种计算机程序产品。本发明旨在综合考虑数据样本的信息量及多样性的情况下筛选出最具标注价值的样本数据，从而降低标注成本，提高数据利用率。

技术领域

本发明涉及一种用于数据处理的方法、一种用于目标检测的方法、一种用于数据处理的设备和一种计算机程序产品。

背景技术

随着人工智能的兴起和发展，以深度学习为基础的目标检测、语义分割和行人位姿估计等技术在自动驾驶领域中为后续路径规划和决策提供了重要的环境感知信息。为了确保感知任务模型的鲁棒性，通常需要人工对训练数据进行高质量标注。但是，由于标注数据的高成本以及新采集原始数据的大体量，要对全部新采集数据进行标注并不具可行性。

现有技术中提出基于主动学习的分类器训练方法，在该方法中，利用分类器计算样本的总体信息量，并基于信息量只选取一部分样本进行重点标注，然后利用更新的样本重新训练分类器。

此外，还已知一种选取样本图像的方法，首先获取未标注图像集合和已标注图像集合，以已标注图像集合作为训练集得到图像分类模型，根据分类结果计算不确定性指标和代表性指标，并基于此确定标注价值。最后可以从未标注图像中挑选出标注价值高的那部分样本图像进行人工标注，从而优化图像分类模型的性能。

但是，上述解决方案仍存在诸多不足，特别是，现有的标注任务大多只关注分类任务，而在标注成本更高的图像定位回归任务方面，主动学习数据选择的相关技术还不够成熟。此外，现有标注方法中需要利用已标注信息来获得样本多样性依据，因此无标注数据信息无法得到有效利用，这导致多样性表达不够全面。

在这种背景下，期待提供一种改进的数据处理方法，能够降低数据标注成本，减少不必要数据标注并提高数据利用效率。

发明内容

本发明的目的在于提供一种用于数据处理的方法、一种用于目标检测的方法、一种用于数据处理的设备和一种计算机程序产品，以至少解决现有技术中的部分问题。

根据本发明的第一方面，提供一种用于数据处理的方法，所述方法包括以下步骤：

S1：按照是否有标注信息将数据样本划分为有标注的第一数据和无标注的第二数据；

S2：结合第一数据获取用于表征样本标注价值的第一指标；

S3：结合第一数据和第二数据基于自监督学习获取用于表征样本标注价值的第二指标，所述第二指标不同于第一指标；以及

S4：借助所述第一指标和第二指标从第二数据筛选出待标注数据并对其进行标注。

本发明尤其包括以下技术构思：本发明不仅考虑从已标注数据归纳出唯一评价指标来衡量样本的标注价值，更重要地，通过引入自监督学习策略，还能够有效利用无标注数据的信息来完成额外评价指标的建立，从而在更多角度估计样本的重要性贡献。由此，确保最终筛选出的数据更具标注价值。

可选地，所述步骤S2包括：借助第一数据训练目标任务模型、尤其目标检测模型，基于经训练的目标任务模型的预测结果估计出第二数据的信息量并将其作为所述第一指标。

在此，尤其实现以下技术优点：信息量也称为“不确定性”，通过引入这一方面的评价指标，可以从样本包含的信息丰度或不确定度的角度筛选出最具标注价值的样本。当专门针对这类样本进行标注并将其用于后续模型训练时，可以在保障模型网络的性能表现的同时，极大地缩短训练时间。