[发明专利]前景图像获取方法、前景图像获取装置和电子设备在审
申请号: | 201910654642.6 | 申请日: | 2019-07-19 |
公开(公告)号: | CN111882578A | 公开(公告)日: | 2020-11-03 |
发明(设计)人: | 李益永;何帅;王文斓 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G06T7/215 | 分类号: | G06T7/215;G06T7/254 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 董艳芳 |
地址: | 511400 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 前景 图像 获取 方法 装置 电子设备 | ||
1.一种前景图像获取方法,其特征在于,包括:
对获得的当前视频帧进行帧间运动检测得到第一掩模图像;
通过神经网络模型对所述当前视频帧进行识别得到第二掩模图像;
基于预设的计算模型、所述第一掩模图像和所述第二掩模图像计算得到所述当前视频帧中的前景图像。
2.根据权利要求1所述的前景图像获取方法,其特征在于,所述对获得的当前视频帧进行帧间运动检测得到第一掩模图像的步骤,包括:
根据获得的当前视频帧中各个像素点的像素值计算各个像素点在该当前视频帧中的边界信息;
根据每个像素点的边界信息判断该像素点是否属于前景边界点,并根据属于前景边界点的各像素点的掩模值得到第一掩模图像。
3.根据权利要求2所述的前景图像获取方法,其特征在于,所述根据每个像素点的边界信息判断该像素点是否属于前景边界点,并根据属于前景边界点的各像素点的掩模值得到第一掩模图像的步骤,包括:
针对每一个像素点,根据该像素点在当前视频帧中的边界信息、在前N帧视频帧中的边界信息和在前M帧视频帧中的边界信息,确定该像素点的当前掩模值和当前频数值,其中,N不等于M;
针对每一个像素点,根据所述当前掩模值和所述当前频数值判断该像素点是否属于前景边界点,并根据属于前景边界点的各像素点的当前掩模值得到第一掩模图像。
4.根据权利要求1所述的前景图像获取方法,其特征在于,所述神经网络模型包括第一网络子模型、第二网络子模型和第三网络子模型;
所述通过神经网络模型对所述当前视频帧进行识别得到第二掩模图像的步骤,包括:
通过所述第一网络子模型对所述当前视频帧进行语义信息提取处理得到第一输出值;
通过所述第二网络子模型对所述第一输出值进行尺寸调整处理得到第二输出值;
通过所述第三网络子模型对所述第二输出值进行掩模图像提取处理得到第二掩模图像。
5.根据权利要求4所述的前景图像获取方法,其特征在于,该方法还包括预先构建所述第一网络子模型、所述第二网络子模型和所述第三网络子模型的步骤,该步骤包括:
通过第一卷积层、多个第二卷积层和多个第三卷积层构建所述第一网络子模型,其中,所述第一卷积层用于执行一次卷积操作,所述第二卷积层用于执行两次卷积操作、一次深度可分离卷积操作和两次激活操作,所述第三卷积层用于执行两次卷积操作、一次深度可分离卷积操作和两次激活操作,并将进行操作得到的值与输入值一并输出;
通过所述第一卷积层和多个第四卷积层构建所述第二网络子模型,其中,所述第四卷积层用于执行一次卷积操作、一次深度可分离卷积操作和两次激活操作;
通过多个所述第四卷积层和多个上采样层构建所述第三网络子模型,其中,所述上采样层用于执行双线性差值上采样操作。
6.根据权利要求1所述的前景图像获取方法,其特征在于,所述基于预设的计算模型、所述第一掩模图像和所述第二掩模图像计算得到所述当前视频帧中的前景图像的步骤,包括:
根据预设的第一加权系数和第二加权系数对所述第一掩模图像和所述第二掩模图像进行加权求和处理;
将进行加权求和处理得到的结果与预先确定的参数进行求和处理,得到所述当前视频帧中的前景图像。
7.根据权利要求1-6任意一项所述的前景图像获取方法,其特征在于,在执行所述基于预设的计算模型、所述第一掩模图像和所述第二掩模图像计算得到所述当前视频帧中的前景图像的步骤之前,所述方法还包括:
计算所述当前视频帧的第一掩模图像与前一帧视频帧的第一掩模图像之间的第一差值,并计算该当前视频帧的第二掩模图像与该前一帧视频帧的第二掩模图像之间的第二差值;
若所述第一差值小于预设差值,则将所述当前视频帧的第一掩模图像更新为所述前一帧视频帧的第一掩模图像;
若所述第二差值小于预设差值,则将所述当前视频帧的第二掩模图像更新为所述前一帧视频帧的第二掩模图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910654642.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:导热线路板及其半导体组体
- 下一篇:一种应答方法及装置
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序