[发明专利]一种神经网络的训练方法以及相关设备

权利要求书

1.一种环境数据的处理方法，其特征在于，所述方法包括：

获取与第一时刻的环境对应的第一点云数据，并获取与所述第一时刻的环境对应的第一图像；

根据所述第一点云数据，生成与所述第一时刻的环境对应的至少一个三维3D检测框的位置信息，一个所述3D检测框的位置信息指示所述第一时刻的环境中一个物体的位置；

根据所述第一图像，获取与每个所述3D检测框对应的第一图像特征；

获取与第二点云数据对应的至少一个历史3D检测框的位置信息，并获取与每个所述历史3D检测框对应的第二图像特征，所述第二点云数据与第二时刻的环境对应，所述第二时刻为所述第一时刻的上一时刻，一个所述历史3D检测框的位置信息指示一个物体在所述第二时刻的环境中的位置，所述第二图像特征为基于与所述第二时刻的环境对应的第二图像得到的；

根据所述至少一个3D检测框的位置信息、所述第一图像特征、所述至少一个历史3D检测框的位置信息和所述第二图像特征，确定至少一个目标匹配关系，一个所述目标匹配关系指示一个第一3D检测框和一个第一历史3D检测框之间的匹配关系，所述第一3D检测框包括于所述至少一个3D检测框，所述第一历史3D检测框包括于所述至少一个历史3D检测框。

2.根据权利要求1所述的方法，其特征在于，所述第一点云数据中包括多个第一点的三维空间坐标，所述方法还包括：

根据每个所述第一点的三维空间坐标，将每个所述第一点投影至与所述第一图像对应的图像坐标系，以获取与所述多个第一点对应的多个像素点，所述像素点位于所述第一图像中；

根据所述第一图像的特征信息，获取与所述第一点对应的第三图像特征；

所述根据所述第一点云数据，生成与所述第一时刻的环境对应的至少一个三维3D检测框的位置信息，包括：

根据与所述多个第一点对应的多个第三图像特征和所述第一点云数据，生成与所述第一时刻的环境对应的至少一个3D检测框的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述根据与所述多个第一点对应的多个第三图像特征和所述第一点云数据，生成与所述第一时刻的环境对应的至少一个3D检测框的位置信息，包括：

通过特征提取网络对所述第一点云数据进行特征提取，以得到第一特征信息：

通过特征提取网络对与所有第一点对应的多个第三图像特征进行特征提取，以得到第二特征信息；

将所述第二特征信息与所述第一特征信息进行融合，以得到更新后的第一特征信息；

通过特征处理网络对所述更新后的第一特征信息进行特征处理，以生成所述至少一个3D检测框的位置信息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

通过特征提取网络对所述第二特征信息进行特征提取，以得到第四图像特征；

所述根据所述第一图像，获取与每个所述3D检测框对应的第一图像特征，包括：

根据每个所述3D检测框的位置信息，从所述第四图像特征中获取与每个所述3D检测框对应的所述第一图像特征。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述至少一个3D检测框的位置信息、所述第一图像特征、所述至少一个历史3D检测框的位置信息和所述第二图像特征，确定至少一个目标匹配关系，包括：

根据每个所述3D检测框的位置信息和每个所述历史3D检测框的位置信息，生成P个目标匹配信息；

根据所述P个目标匹配信息、与所述第一3D检测框对应的第一图像特征和与所述第一历史3D检测框对应的第二图像特征，生成第一相似度信息，所述第一相似度信息指示所述第一3D检测框和所述第一历史3D检测框之间的相似度；

根据所述第一相似度信息，对所述P个目标匹配信息进行筛选，以得到Q个目标匹配信息，所述Q为小于或等于所述P的整数。