[发明专利]三维地图的生成及模型训练方法、装置及电子设备

权利要求书

1.一种三维地图的生成方法，其特征在于，所述方法包括：

确定目标设备在当前环境下对应的目标隐变量；所述目标隐变量用于表示所述目标设备在当前环境下，视角坐标与场景图像之间的转化影响因素；场景图像是反映目标设备当前所处环境的图像,视角坐标是场景图像所对应的图像采集视角的坐标；

确定视角坐标集合，所述视角坐标集合包括用于生成目标三维地图的多个目标视角坐标；所述目标三维地图为当前环境所对应的三维地图；

基于所述视角坐标集合中的目标视角坐标及所述目标隐变量，确定每个目标视角坐标对应的目标场景图像；

根据每个所述目标场景图像生成所述目标三维地图。

2.根据权利要求1所述的方法，其特征在于，所述确定目标设备在当前环境下对应的目标隐变量，包括：

在所述目标设备的当前环境下，采集多组样本数据，每组所述样本数据包括视角坐标与场景图像；

将所述多组样本数据输入至目标卷积神经网络，得到所述目标隐变量；

所述基于所述视角坐标集合中的目标视角坐标及所述目标隐变量，确定每个目标视角坐标对应的目标场景图像，包括：

将每个所述目标视角坐标及所述目标隐变量输入至目标循环神经网络，得到每个目标视角坐标对应的目标场景图像。

3.根据权利要求2所述的方法，其特征在于，所述目标卷积神经网络和所述目标循环神经网络通过如下方式训练：

执行以下目标操作：从样本集中选多组样本数据作为第一数据，以及选一组样本数据作为第二数据；将所述第一数据输入至当前的卷积神经网络，得到隐变量，所述隐变量用于表示视角坐标与场景图像之间的转化影响因素；将所述隐变量和所述第二数据对应的视角坐标输入至当前的循环神经网络，得到预测场景图像；

若基于所述预测场景图像与所述第二数据对应的场景图像，确定未满足预设条件，对所述卷积神经网络和所述循环神经网络的网络参数进行调整，并重新执行所述目标操作；

若基于所述预测场景图像与所述第二数据对应的场景图像，确定满足所述预设条件，输出经过调整后的目标卷积神经网络及目标循环神经网络。

4.根据权利要求3所述的方法，其特征在于，所述第一数据和所述第二数据为同一智能驾驶设备在同一环境下采集的数据；

所述目标操作还包括：

在将所述隐变量和所述第二数据对应的场景图像输入至当前的循环神经网络的同时，将随机生成的噪声信号也输入至当前的循环神经网络。

5.根据权利要求3所述的方法，其特征在于，通过如下方式确定满足所述预设条件：

确定目标函数，所述目标函数为所述预测场景图像与所述第二数据对应的场景图像之间的ELBO证据下线函数；

当所述目标函数收敛时，确定满足所述预设条件。

6.根据权利要求1-5中任一所述的方法，其特征在于，所述场景图像为感知图像；所述目标场景图像为目标感知图像；

所述根据每个所述目标场景图像生成所述目标三维地图，包括：

将每个所述目标感知图像输入至目标转换模型中，得到每个所述目标感知图像对应的目标视觉图像；

根据所述目标视觉图像生成所述目标三维地图。

7.一种用于生成三维地图的模型训练方法，其特征在于，所述方法包括：

执行以下目标操作：从样本集中选多组样本数据作为第一数据，以及选一组样本数据作为第二数据；每组所述样本数据包括视角坐标与场景图像；将所述第一数据输入至当前的卷积神经网络，得到隐变量，所述隐变量用于表示视角坐标与场景图像之间的转化影响因素；将所述隐变量和所述第二数据对应的视角坐标输入至当前的循环神经网络，得到预测场景图像；

若基于所述预测场景图像与所述第二数据对应的场景图像，确定未满足预设条件，对所述卷积神经网络和所述循环神经网络的网络参数进行调整，并重新执行所述目标操作；

若基于所述预测场景图像与所述第二数据对应的场景图像，确定满足所述预设条件，输出经过调整后的目标卷积神经网络及目标循环神经网络。