[发明专利]视频帧处理方法、装置及其相关设备和存储介质

说明书

本申请公开了一种视频帧处理方法、处理装置、终端设备和计算机可读存储介质，该方法包括：获取对文字展示板录像得到的当前目标视频帧；从当前目标视频帧中，提取文字展示板的被遮挡区域对应的遮挡物图像；利用历史目标视频帧中文字展示板的内容，替换当前目标视频帧中的被遮挡区域，得到无遮挡图像；将无遮挡图像与经透明化处理的遮挡物图像进行叠加，得到当前目标视频帧对应的经处理目标视频帧。通过上述方式，本申请能够避免遮挡物对文字展示板内容的遮挡。

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频帧处理方法、处理装置、终端设备和计算机可读存储介质。

背景技术

教学是教师按既定的教学目的将知识传递给学生的过程，其中，属于符号语言系统的板书就是课堂教学信息传递的重要载体。板书是使学生通过视觉而获取知识的，它是利用视觉交流信息的渠道。

然而，在实际教学过程中，老师在讲解时，经常会挡住板书内容，使得坐在教室后面以及想参与这堂课程的其他班级学生无法有效轻松获取书写内容。

发明内容

本申请主要解决的技术问题是提供一种视频帧处理方法、处理装置、终端设备和计算机可读存储介质，能够避免遮挡物对文字展示板内容的遮挡。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频帧处理方法，该方法包括：获取对文字展示板录像得到的当前目标视频帧；从当前目标视频帧中，提取文字展示板的被遮挡区域对应的遮挡物图像；利用历史目标视频帧中文字展示板的内容，替换当前目标视频帧中的被遮挡区域，得到无遮挡图像；将无遮挡图像与经透明化处理的遮挡物图像进行叠加，得到当前目标视频帧对应的经处理目标视频帧。

其中，利用历史目标视频帧中文字展示板的内容，替换当前目标视频帧中的被遮挡区域，得到无遮挡图像，包括：从当前目标视频帧中提取第一区域图像，其中，第一区域图像包含当前目标视频帧中位于被遮挡区域以外的图像信息；以及从历史目标视频帧中提取第二区域图像，其中，第二区域图像包含表示文字展示板在被遮挡区域中的内容的图像信息；结合第一区域图像和第二区域图像的图像信息，得到无遮挡图像。

其中，在从当前目标视频帧中，提取文字展示板的被遮挡区域对应的遮挡物图像之前，视频帧处理方法还包括：对当前目标视频帧进行遮挡物语义分割，得到当前目标视频帧的遮挡物分割结果，其中，遮挡物分割结果包含被遮挡区域的位置信息；从当前目标视频帧中，提取文字展示板的被遮挡区域对应的遮挡物图像，包括：利用被遮挡区域的位置信息，从当前目标视频帧中提取得到遮挡物图像。

其中，在从当前目标视频帧中，提取文字展示板的被遮挡区域对应的遮挡物图像之前，视频帧处理方法还包括：利用被遮挡区域的位置信息，确定当前目标视频帧和上一目标视频帧的被遮挡区域之间的距离；响应于距离小于预设距离值，执行从当前目标视频帧中，提取文字展示板的被遮挡区域对应的遮挡物图像及其后续步骤。

其中，获取对文字展示板录像得到的当前目标视频帧，包括：获取多个摄像头分别对文字展示板录像得到的多个初始视频帧；将多个初始视频帧进行配准处理，得到经配准的多个初始视频帧；将经配准的多个初始视频帧进行融合处理，得到当前目标视频帧。

其中，至少一个初始视频帧包含文字展示板的局部画面，至少一个初始视频帧包含文字展示板的全局画面。

其中，在将多个初始视频帧进行配准处理，得到经配准的多个初始视频帧之前，视频帧处理方法还包括：分别对多个初始视频帧进行矫正处理；和/或，将经配准的多个初始视频帧进行融合处理，得到当前目标视频帧，包括：将多个初始视频帧进行拼接处理，得到当前目标视频帧，其中，当前目标视频帧的第一像素点的像素值是由多个初始视频帧对应的第二像素点的像素值进行加权处理得到的，第一像素点和第二像素点为多个初始视频帧的重叠区域的像素点。

其中，初始视频帧的第二像素点对应的权重与第二像素点与区域边界的距离为负相关关系，区域边界为重叠区域靠近初始视频帧的边界。