[发明专利]一种自动驾驶车辆的侧向图像处理方法、装置和系统

权利要求书

1.一种自动驾驶车辆的侧向图像处理方法，其特征在于，包括：

在车辆运行的实时过程中，车载图像处理装置接收在车辆同一侧的多个摄像头在同一时刻生成的多个原始图像数据；

按照预处理确定得到的像素迁移表中记载的像素位置，将接收到的每个所述原始图像数据中的每个像素数据迁移到结果图像数据中的对应的像素位置上；其中，所述像素迁移表中记录了对所述车辆同一侧所述多个摄像头生成的所述多个原始图像数据进行侧向图像拼接处理、得到所述结果图像数据后，每个所述原始图像数据中的每个所述像素数据迁移到所述结果图像数据中的所述像素位置，其中所述侧向图像拼接处理包括对所述多个摄像头在先前生成的所述多个原始图像数据进行图像扭曲处理，以得到扭曲后的多个图像数据，其中扭曲后的所述多个图像数据平行于所述车辆一侧，并用以进行图像拼接。

2.根据权利要求1所述的方法，其特征在于，按照所述像素迁移表中记载的所述像素位置，将接收到的每个所述原始图像数据中的每个所述像素数据迁移到所述结果图像数据中对应的所述像素位置上，包括：

在所述像素迁移表是一个像素迁移表集合、所述集合中包括多个子表的情况下，根据预存的子表与所述摄像头的对应关系，按照所述摄像头对应的所述子表中记载的像素位置，将来自各个所述摄像头的所述原始图像数据中的各个所述像素数据迁移到所述结果图像数据中对应的所述像素位置上；其中，每个所述子表的尺寸与每个原始图像的尺寸相同；或者，

在所述像素迁移表是一个总像素迁移表的情况下，按照所述多个摄像头的位置关系，将所述多个原始图像数据拼成一个总原始图像数据；按照所述总像素迁移表中记载的像素位置，将所述总原始图像数据中每个像素数据迁移到所述结果图像数据中对应的所述像素位置上；其中，所述总原始图像数据的尺寸与所述总像素迁移表的尺寸相同。

3.根据权利要求1所述的方法，其特征在于，还包括：

在离线的所述预处理中，获取所述车辆同一侧的所述多个摄像头在多个时刻生成的历史的多组原始图像数据，每组所述原始图像数据包括所述车辆同一侧的所述多个摄像头在同一时刻生成的所述多个原始图像数据；

对每一组所述原始图像数据进行所述侧向图像拼接处理得到一个对应的结果图像数据；

根据所述多组原始图像数据和对应的多个结果图像数据，确定得到所述侧向图像拼接处理的一个射影变换矩阵；

根据所述射影变换矩阵确定得到所述原始图像数据中的各所述像素数据迁移到所述结果图像数据中的所述像素位置，记录确定得到的各所述像素数据迁移后的所述像素位置生成所述像素迁移表。

4.根据权利要求3所述的方法，其特征在于，所述侧向图像拼接处理包括：

对一组所述原始图像数据中的每个所述原始图像数据均进行所述图像扭曲处理，得到扭曲后的所述多个图像数据；

按照所述多个摄像头的位置顺序，将扭曲后的一组所述图像数据对齐，拼接得到一个所述结果图像数据。

5.根据权利要求4所述的方法，其特征在于，对一个所述原始图像数据进行所述图像扭曲处理，包括：

对于一个所述原始图像数据，确定一条平行于所述车辆一侧的直线，其中，所述车辆一侧为所述多个摄像头所在的所述车辆一侧；

对所述图像数据进行扭曲处理，得到平行于所确定的所述直线的扭曲后的所述图像数据。

6.根据权利要求5所述的方法，其特征在于，确定一条平行于所述车辆一侧的所述直线，包括：

将所述原始图像数据中的车道线确定为平行于所述车辆一侧的所述直线；或者，

根据一个所述摄像头的安装位姿与车体之间的夹角，确定一条平行于所述车辆一侧的所述直线。

7.根据权利要求4所述的方法，其特征在于，将扭曲后的所述多个图像数据对齐，拼接得到一个所述结果图像数据，包括：

分别检测出扭曲后的每个图像数据中的特征点；

根据所述车辆同一侧的所述多个摄像头的位置顺序和检测出的所述特征点，对扭曲后的所述多个图像数据进行对齐；

拼接对齐后的所述多个图像数据得到一个所述结果图像数据。