[发明专利]用于训练对象检测模型的方法及设备

权利要求书

1.一种对象检测训练方法，包括：

使用对象检测模型基于从输入图像提取的特征来估计对象的姿态及尺寸；

依据所述姿态及所述尺寸计算三维限界框；

通过将所述三维限界框投影到第一投影图像来确定与所述对象对应的第一输出限界框；

通过将所述三维限界框投影到第二投影图像来确定与所述对象对应的第二输出限界框；以及

基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框来训练所述对象检测模型，所述训练包括对所述第一输出限界框与所述第二输出限界框的融合运算。

2.根据权利要求1所述的对象检测训练方法，其中确定所述第一输出限界框包括通过将所述三维限界框投影到鸟瞰图投影图像来确定与所述对象对应的鸟瞰图限界框。

3.根据权利要求1所述的对象检测训练方法，其中确定所述第二输出限界框包括通过将所述三维限界框投影到透视投影图像来确定与所述对象对应的透视限界框。

4.根据权利要求1所述的对象检测训练方法，其中估计所述对象的所述姿态及所述尺寸包括从i)与从所述输入图像检测到的所述对象对应的二维限界框及ii)与所述二维限界框对应的裁剪图像提取特征。

5.根据权利要求1所述的对象检测训练方法，其中训练所述对象检测模型包括：

基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框来计算损失；以及

基于所述损失来训练所述对象检测模型，所述训练包括更新神经网络中的权重。

6.根据权利要求5所述的对象检测训练方法，其中计算所述损失包括：

基于所述第一输出限界框与第一参考限界框之间的交叠程度来计算第一损失；以及

基于所述第二输出限界框与第二参考限界框之间的交叠程度来计算第二损失。

7.根据权利要求5所述的对象检测训练方法，其中计算所述损失包括：

基于指示所述对象的前面的前面框来确定目标框；

以及

基于所述目标框与参考框之间的交叠程度来计算透视限界框的损失。

8.根据权利要求5所述的对象检测训练方法，其中

估计所述对象的所述姿态及所述尺寸包括：

基于从所述输入图像提取的所述特征来估计位置偏移；

依据所述姿态及所述尺寸来估计初始位置；

通过对所估计的所述初始位置应用所述位置偏移来确定输出位置；且

计算所述损失是基于所确定的所述输出位置而进行。

9.根据权利要求1所述的对象检测训练方法，其中估计所述姿态及所述尺寸包括基于从所述输入图像提取的所述特征来估计所估计的所述姿态及所估计的所述尺寸中的每一者的置信级。

10.根据权利要求1所述的对象检测训练方法，其中估计所述对象的所述尺寸包括估计所述对象的宽度、长度及高度。

11.一种对象检测训练方法，包括：

使用对象检测模型基于从输入图像及深度图像提取的特征来估计对象的姿态；

使用所述对象检测模型基于从所述输入图像及所述深度图像提取的所述特征来估计与所述对象对应的三维限界框；

通过将所述三维限界框投影到投影图像来确定与所述对象对应的输出限界框；以及

基于所述姿态、所述三维限界框及所述输出限界框来训练所述对象检测模型，所述训练包括对所述三维限界框与所述输出限界框的融合运算。

12.根据权利要求11所述的对象检测训练方法，其中确定所述输出限界框包括通过将所述三维限界框投影到透视投影图像来确定与所述对象对应的透视限界框。

13.根据权利要求11所述的对象检测训练方法，其中从所述输入图像及所述深度图像提取所述特征是基于由区域建议网络计算的区域而进行。