[发明专利]基于注意力机制的无人车多分辨率视频生成方法和装置

权利要求书

1.基于注意力机制的无人车多分辨率视频生成方法，其特征在于，包括：

获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹；

将所述预测轨迹标注在预先设置的空白图像中，得到注意力图像；

根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像；所述注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同；根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像包括：对所述注意力图像中的像素点，通过摄像机标定得到的标定矩阵，确定车体坐标系中的对应点；在车体坐标系中，计算所述对应点与预测轨迹之间的实际距离；根据所述实际距离生成注意力掩码图像；

获取无人车上安装的摄像机采集的实时图像，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，所述注意力掩码图像、所述实时图像以及所述降采样实时图像的尺寸一致，且各个降采样实时图像的分辨率彼此不同；

根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像；其中，与所述预测轨迹距离越近的分区，填充的图像的分辨率越大；根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像包括：根据分区与预测轨迹的距离，建立所述分区与所述实时图像，以及所述分区与所述降采样实时图像的对应关系；其中，与预测轨迹的距离越近的分区，与所述分区对应的所述实时图像或所述降采样实时图像的分辨率越大；对所述注意力掩码图像进行逐行逐列扫描，判断扫描的像素值，根据所述像素值的大小，确定分区，根据所述分区，将对应的图像填充至注意力掩码图像，扫描完成得到合成图像；

根据所述合成图像，输出实时的视频流数据。

2.根据权利要求1所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，所述注意力掩码图像包括三个分区；对所述实时图像分别按照2*2和3*3的比率进行降采样，得到分辨率分别为实时图像分辨率1/4和1/9的两个降采样实时图像。

3.根据权利要求1或2所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，在输出实时的视频流数据之前，还包括：

将所述合成图像利用平滑的方法进行处理。

4.根据权利要求1或2所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，包括：

对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，并且将所述降采样实时图像进行尺寸放大，以使所述降采样实时图像的尺寸与所述实时图像的尺寸一致。

5.根据权利要求1或2所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，所述摄像机采集实时图像可以通过USB、网络、GMSL或FPDLINK接口。