[发明专利]画中画定位方法及装置

说明书

本申请公开了一种画中画定位方法及装置。该方法包括：获取视频中的图片样本，其中，所述视频中至少包括一动态窗口；对所述图片样本执行第一预设操作和第二预设操作；遍历第一预设操作结果和第二预设操作结果，得到行列范围和行列序号；以及，根据所述行列范围和所述行列序号确定所述动态窗口的矩形区域。能够替代传统的图像分割算法，且精确定位视频中至少一个动态窗口，达到了推测动态内容和静态内容的分布，消除动态窗口之间相互影响，同时修正动态窗口的目的，从而实现了提高定位精度，且降低了计算成本的技术效果。本申请解决了动态窗口的定位精度低，且计算成本大的技术问题。

技术领域

本申请涉及画中画定位领域，具体而言，涉及一种画中画定位方法及装置。

背景技术

相比移动端投屏直播而言，在PC投屏为基础的直播环境中，增加了用户自定义界面的表达形式。为了让直播内容和主播的人物画面同时出现在同一屏幕中，往往采用同屏多窗口的画中画模式。

这种模式增加了显示画面的复杂度，直播内容窗口在画面中的方位和显示比例都是用户随机定义的，可能会造成画面比例变形，给以图像为基础的直播流内容分析系统带来挑战，因此，在这种新增的模式中，定位直播内容窗口，提取画面并恢复比例，是能够正确分析直播流前提条件。

画中画一般处于矩形窗口中，直播画面(前景)和画面框架(背景) 的图像想似性有差别，相似的解决方案较多采用图像分割的各种算法。

图像分割算法多以静态图像中画面上的亮度和色彩差异行为标志，来将图像分割成若干区域，它会由于直播图像的变动而带来不稳定，并且分析过程中往往使用计算成本较大的方法，严重占用系统的计算资源(CPU)。

针对相关技术中动态窗口的定位精度低，且计算成本大的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种画中画定位方法及装置，以解决动态窗口的定位精度低，且计算成本大的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种画中画定位方法。

根据本申请的画中画定位方法包括：获取视频中的图片样本，其中，所述视频中至少包括一动态窗口；对所述图片样本执行第一预设操作和第二预设操作；遍历第一预设操作结果和第二预设操作结果，得到行列范围和行列序号；以及，根据所述行列范围和所述行列序号确定所述动态窗口的矩形区域。

进一步的，获取视频中的图片样本包括：截取视频画面；将截取的视频画面保存为图片序列；在所述图片序列中选取指定数目图片作为图片样本。

进一步的，对所述图片样本执行第一预设操作包括：将图片样本中的每两张图片分为一组；对每组中的图片进行矩形减法并取绝对值，得到矩阵集合；对矩阵集合中的矩阵进行累加求和并执行阈值操作，得到第一二值图像；通过中值滤波滤除所述第一二值图像中的椒盐噪声。

进一步的，对所述图片样本执行第二预设操作包括：提取所述图片样本中图片的动态窗口轮廓；对每张图片的动态窗口轮廓进行累加求和并执行阈值操作，得到第二二值图像。

进一步的，遍历第一预设操作结果得到行列范围包括：对执行第一预设操作得到的第一二值图像进行行遍历，得到行范围；对执行第一预设操作得到的第一二值图像进行列遍历，得到列范围。

进一步的，遍历第二预设操作结果得到行列序号包括：对执行第二预设操作得到的第二二值图像进行行遍历，得到行序号；对执行第二预设操作得到的第二二值图像进行列遍历，得到列序号。

进一步的，根据所述行列范围和所述行列序号确定所述动态窗口的矩形区域包括：判断行列序号是否在行列范围内；如果在，则通过预设计算规则纠正所述行列范围；根据纠正后的行列范围确定所述动态窗口的矩形区域。