[发明专利]图像帧的生成方法及装置、存储介质、电子设备

说明书

本发明公开了一种图像帧的生成方法及装置、存储介质、电子设备，属于视频编码技术领域。其中，该方法包括：获取双目相机采集的第一画面和第二画面，其中，所述双目相机包括左右平行的第一摄像头和第二摄像头，所述第一摄像头用于采集所述第一画面，所述第二摄像头用于采集所述第二画面；根据所述第一画面搜索所述第二画面的编码参考信息；基于所述编码参考信息生成所述第二画面的图像帧。通过本发明，解决了相关技术在编码双目相机视频时压缩率低的技术问题，节省了视频码率。

技术领域

本发明涉及视频编码领域，具体而言，涉及一种图像帧的生成方法及装置、存储介质、电子设备。

背景技术

相关技术中的，双目相机是模拟人眼放置两个摄像机，可以通过算法分析左右摄像机图像差异，计算出图像中各个物体的景深(即物体距离摄像头的距离)，在自动驾驶和机器人领域替代激光雷达的可选方案。

相关技术中，传统两个摄像机采集左右摄像头图像后，左右相机图像均是独立传输和存储视频文件。独立存储双目摄像头文件，所占传输带宽大且存储空间大、双目相机两幅画面图像信息未能得到复用。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种图像帧的生成方法及装置、存储介质、电子设备。

根据本申请实施例的一个方面，提供了一种图像帧的生成方法，包括：获取双目相机采集的第一画面和第二画面，其中，所述双目相机包括左右平行的第一摄像头和第二摄像头，所述第一摄像头用于采集所述第一画面，所述第二摄像头用于采集所述第二画面；根据所述第一画面搜索所述第二画面的编码参考信息；基于所述编码参考信息生成所述第二画面的图像帧。

进一步，根据所述第一画面搜索所述第二画面的编码参考信息包括：将所述第一画面和所述第二画面拼接为第三画面；基于所述第一画面生成图像帧，其中，所述图像帧包括多个第一编码块CU，所述多个第一CU呈矩阵排列；在所述多个第一CU中搜索所述第二画面的参考CU。

进一步，在所述多个第一CU中搜索所述第二画面的参考CU包括：针对所述第二画面待编码的起始第二CU，从所述多个第一CU的起始CU开始逐块搜索与所述起始第二CU匹配的起始参考块；从所述第二画面待编码的指定第二CU开始，从所述多个第一CU的所述起始参考块开始逐块搜索与所述指定第二CU匹配的第m个参考块，直到遍历完成所述第二画面所有待编码的第二CU，其中，所述指定第二CU为所述起始第二CU的相邻块，其中，m为正整数。

进一步，从所述多个第一CU的起始CU开始逐块搜索与所述起始第二CU匹配的起始参考块包括：从所述多个第一CU的起始CU开始，逐块遍历执行以下步骤，直到搜索到匹配的起始参考块或者达到搜索终止条件：计算当前第n个第二CU与所述起始CU的第一局部残差值，第n-1个第二CU与所述起始CU的第二局部残差，以及第n+1个第二CU与所述起始CU的第三局部残差，其中，n为大于1的整数，其中，局部残差值用于表征两个CU之间的像素差异度；若所述第一局部残差值同时小于所述第二局部残差和所述第三局部残差，且所述第一局部残差值小于预设阈值，确定所述第n个第二CU为与所述起始第二CU匹配的起始参考块。

进一步，计算当前第n个第二CU与所述起始CU的第一局部残差值包括：获取第n个第二CU的第一像素矩阵，以及所述起始CU的第二像素矩阵；统计所述第一像素矩阵与所述第二像素矩阵中多对像素点的像素差绝对值之和，其中，每对像素点中两个像素在对应像素矩阵中的坐标相同；将所述像素差绝对值之和确定为所述第一局部残差值。

进一步，在遍历开始之前，所述方法还包括：判断遍历步长是否达到预设步长，和/或，判断当前行的第一CU是否已经遍历完；若遍历步长达到预设步长或当前行的第一CU已经遍历完，确定符合搜索终止条件，并确定匹配失败。