[发明专利]一种基于延时视频的室外场景重建方法有效
申请号: | 201910357769.1 | 申请日: | 2019-04-30 |
公开(公告)号: | CN110189415B | 公开(公告)日: | 2023-03-14 |
发明(设计)人: | 包永堂 | 申请(专利权)人: | 山东科技大学 |
主分类号: | G06T17/30 | 分类号: | G06T17/30;G06T15/50 |
代理公司: | 青岛智地领创专利代理有限公司 37252 | 代理人: | 陈海滨 |
地址: | 266590 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 延时 视频 室外 场景 重建 方法 | ||
1.一种基于延时视频的室外场景重建方法,其特征在于,包括如下步骤:
s1.对延时视频进行日光贡献成分分离,得到仅包含日光直射贡献成分的采样;
s2.对日光强度时变基函数初始化,求解日光强度时变基函数初始值;
s3.在已知的日光直射方向和求解得到的日光强度时变基函数初始值基础上,使用交替优化方法分解延时视频中的日光贡献成分数据构成的稀疏矩阵;
迭代求得每帧场景表面像素的三维法向量和日光强度值;
s3步骤的具体实施过程为:
I.对每一个像素和每一帧的光照强度都独立求解;
将公式中的拟合误差作为优化目标函数,使用不带平滑约束的迭代算法计算每个像素的法向量和每帧光照强度值;
其中,表示所有采样位置,表示所有延时帧;
ρ(x)表示场景表面x处的漫反射系数;
n(x)是场景表面的法向量,I(t)是t时刻日光直射方向,l(t)是t时刻等效日光强度;
Isum(x,t)是日光直射贡献成分采样;
优化算法并不改变光照方向,只更新光照强度值,这样可以避免由于过拟合造成入射光方向向量在优化过程中向主要朝向的平面偏移的情况发生;
II.将场景的法向量、光照方向与亮度值、延时视频采样值、阴影函数值表达为:
其中,N表示场景的法向量、L表示光照强度向量矩阵、I表示延时视频采样值、S表示阴影函数值;
在此基础上将场景每个位置两帧之间的亮度差引入目标函数,可将步骤I中的公式f进一步改写得到:
其中表示矩阵的阿达马积,也称为元素对位乘积,符号表示矩阵的弗罗贝尼范数;
等号右侧第一项表示由场景外观时变模型拟合出的场景亮度与实际采集数据亮度差的平方和,右侧第二项表示拟合出的场景亮度随时间变化快慢,由于静态场景中各处的法向量和漫反射系数不随时间变化,则有
III.令Δ表示有限差分系数矩阵,光照强度向量矩阵L对时间的偏导数用差分方式表达为矩阵形式:
将光照强度向量矩阵L对时间的偏导数代入改写后的优化目标函数f中,同时将得到的目标函数分别对法向量矩阵N与光照强度向量矩阵L求偏导数得到方程组,即:
IV.将求解方程组得到的光照强度和方向向量重投影到根据每帧拍摄时刻计算出的日光直射方向,避免发生过拟合现象,更新阴影函数后,归一化得到三维法向量结果。
2.根据权利要求1所述的基于延时视频的室外场景重建方法,其特征在于,
所述步骤s1具体为:
s1.1.定义像素法向量相似性度量,选出延时视频中阴影帧对应的像素集和非阴影帧对应的像素集,并利用相似性度量计算两个像素集中各像素对之间的距离;
s1.2.根据像素法向量相似性度量选出最相似的若干个像素,并对这些最相似的像素,计算同为阴影和阳光直射时的亮度比例均值,并计算归一化亮度;
s1.3.用归一化后的相似像素亮度替代阴影像素亮度,并从原始延时视频中减去阴影亮度估计值,得到仅包含日光直射贡献成分的采样。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东科技大学,未经山东科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910357769.1/1.html,转载请声明来源钻瓜专利网。