[发明专利]视觉感知以及感知网络训练方法、装置、设备和存储介质

权利要求书

1.一种感知网络的训练方法，其特征在于，包括：

获取包含感知目标的图像数据以及模型数据，所述图像数据包括：二维图像以及标注，所述模型数据包括：三维模型；

利用预设编辑算法，根据所述二维图像以及所述三维模型，生成编辑图像；

根据所述编辑图像以及所述标注，对待训练感知网络进行训练，以确定感知网络；

所述利用预设编辑算法，根据所述二维图像以及所述三维模型，生成编辑图像，包括：

确定所述感知目标对应的运动部件；

在所述二维图像中提取出所述运动部件的第一可见区域；

根据所述第一可见区域以及所述三维模型，生成所述编辑图像；

所述根据所述第一可见区域以及所述三维模型，生成所述编辑图像，包括：

根据所述运动部件确定所述运动部件的位姿信息，所述位姿信息为所述运动部件在空间6自由度上的运动状态所组成的矩阵；

利用投影模型，根据所述第一可见区域以及所述位姿信息，生成所述第一可见区域的三维点云；

根据所述三维点云以及所述位姿信息，确定第二可见区域，所述第二可见区域为所述运动部件在运动后位置处的可见区域；

利用填充算法，根据所述第二可见区域以及所述三维模型，生成所述编辑图像；

所述利用填充算法，根据所述第二可见区域以及所述三维模型，生成所述编辑图像，包括：

将所述第二可见区域与所述三维模型进行对齐，确定不可见区域；

利用渲染技术，根据所述三维模型，确定所述不可见区域的填充图像；

将所述填充图像与所述第二可见区域叠加，并利用叠加后的图像替换所述二维图像中的运动部件，以生成所述编辑图像。

2.根据权利要求1所述的感知网络的训练方法，其特征在于，在所述确定第二可见区域之后，还包括：

利用平滑处理算法，对所述第二可见区域进行平滑处理。

3.根据权利要求1-2中任一项所述的感知网络的训练方法，其特征在于，所述根据所述编辑图像以及所述标注，对待训练感知网络进行训练，以确定感知网络，包括：

利用主骨干网络以及辅助骨干网络，分别对所述编辑图像进行特征提取，以确定主特征以及辅助特征；

将所述主特征以及所述辅助特征进行合并，以得到关联特征；

根据所述关联特征以及回归子网络，确定所述运动部件的状态向量；

根据所述状态向量以及所述标注，对所述待训练感知网络进行训练，以确定所述感知网络。

4.根据权利要求3所述的感知网络的训练方法，其特征在于，所述根据所述状态向量以及所述标注，对所述待训练感知网络进行训练，以确定所述感知网络，包括：

根据所述状态向量以及所述标注计算交叉熵损失函数；

利用所述交叉熵损失函数训练所述待训练感知网络，以确定所述感知网络。

5.根据权利要求3所述的感知网络的训练方法，其特征在于，所述将所述主特征以及所述辅助特征进行合并，以得到关联特征之前，还包括：

所述主骨干网络配置有第一权重，所述辅助骨干网络配置有第二权重；

对所述主骨干网络以及所述辅助骨干网络进行预训练，确定所述第一权重以及所述第二权重。

6.根据权利要求5所述的感知网络的训练方法，其特征在于，所述预训练，包括：

获取实际测试图像以及通用检测图像；

利用所述实际测试图像对所述主骨干网络进行感知训练；

利用所述通用检测图像对所述辅助骨干网络进行感知训练。

7.根据权利要求3所述的感知网络的训练方法，其特征在于，所述主骨干网络与所述辅助骨干网络为相同的目标检测网络。