[发明专利]一种用于驾驶员行为监测图像的处理方法及装置

权利要求书

1.一种用于驾驶员行为监测图像的处理方法，其特征在于，具体流程如下：

采集数据；

模型训练；

基于模型进行推理检测；

根据检测结果，计算检测框和图像难度系数；

根据所述图像难度系数进行半自动标注及难样本挖掘；

根据所述图像难度系数进行数据分析与数据增量；

根据数据分析与数据增量的结果，补充采集数据或者将增加的图像数据用于模型训练；

所述模型训练，具体为：基于已经初始化数据标注的图像，选取一个训练集和两个验证集，其中两个验证集为：第一验证集与第二验证集；使用不同算法对训练集进行训练，得到第一模型与第二模型；

所述基于模型进行推理检测，使用所述第一模型与第二模型对待标注图像进行目标检测，得到第一检测结果与第二检测结果；

所述计算检测框，过程如下：

根据第一检测结果与第二检测结果，计算IOU值；

判断IOU值是否大于IOU阈值；

若IOU值大于等于IOU阈值，判断第一检测结果与第二检测结果是否类别相同；

所述图像难度系数为：若图像上有边框，则使用边框难度的均值作为图像难度系数，计算公式为：其中，c_i为边框的置信度。

2.如权利要求1所述的用于驾驶员行为监测图像的处理方法，其特征在于，所述采集数据，将采集到的驾驶员行为图像进行初始化数据标注。

3.如权利要求2所述的用于驾驶员行为监测图像的处理方法，其特征在于，得到所述第一模型，过程如下：

步骤201：采用第一算法对训练集进行模型训练，得到第一模型；

步骤202：使用第一验证集与第二验证集分别在第一模型中投影，分别得到验证结果集A及验证结果集B；

步骤203：所述验证结果集A及验证结果集B分别与第一验证集与第二验证集已经做数据标注的图像进行比较，若比较结果小于第一阈值，则保留第一模型；

步骤204：若比较结果大于等于第一阈值，则转到步骤201，重新采用第一算法对训练集进行模型训练，重新生成第一模型。

4.如权利要求2所述的用于驾驶员行为监测图像的处理方法，其特征在于，得到所述第二模型，过程如下：

步骤301：采用第二算法对训练集进行模型训练，得到第二模型；

步骤302：使用第一验证集与第二验证集分别在第二模型中投影，分别得到验证结果集C及验证结果集D；

步骤303：所述验证结果集C及验证结果集D分别与第一验证集与第二验证集已经做数据标注的图像进行比较，若比较结果小于第二阈值，则保留第二模型；

步骤304：若比较结果大于等于第一阈值，则转到步骤301，重新采用第二算法对训练集进行模型训练，重新生成第二模型。

5.如权利要求1所述的用于驾驶员行为监测图像的处理方法，其特征在于，所述计算检测框，过程如下：

设第一检测结果为：(T₁,R₁),第二检测结果为：(T₂,R₂)；其中，T为检测类别，R为检测边框，则所述判断第一检测结果与第二检测结果是否类别相同，即判断T₁与T₂的值是否相等；

若IOU值大于等于IOU阈值，并且类别相同，则对第一检测结果与第二检测结果取平均值作为最终检测框，同时将最终检测框的置信度设为IOU值；

若IOU值大于等于IOU阈值，但类别不相同，则保留置信度较大的框作为最终检测框，同时最终检测框的置信度设为IOU值；

若IOU值小于IOU阈值，此时认为是两个不同的检测结果，将两个框都保留，并且两个框的置信度都设置为IOU值。