[发明专利]一种基于神经网络的全景视频转6DOF视频的方法及系统

权利要求书

1.一种基于神经网络的全景视频转6DOF视频的方法，其特征在于，包括：

将ODS全景立体图像输入到一全景深度特征提取网络中；

所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的全景深度图；

基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的6DOF视频并保存；

通过一全景损失函数表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数通过以下公式表达：

上式中，w用于表示所述全景深度图的图宽；

h用于表示所述全景深度图的图高；

H(Δ)为所述全景深度图中的每个像素的berHu矩阵；

表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；

W用于表示所述全景深度图的边界像素的权值矩阵；

n表示W矩阵中非零元素的个数。

2.如权利要求1所述的方法，其特征在于，所述ODS全景立体图包括以左眼视角采集的第一ODS全景立体图像和在同个时间点以右眼视角采集的第二ODS全景立体图像，同一时刻分配给左眼的所述第一ODS全景立体图像以及分配给右眼的所述第二ODS全景立体图像模拟出三维人类视觉。

3.如权利要求1所述的方法，其特征在于，所述全景深度特征提取网络采用卷积神经网络架构。

4.如权利要求1所述的方法，其特征在于，所述W矩阵中各元素的元素值通过以下方法求得：

若像素p_i,j为所述全景深度图的边界像素，则W_i,j＝λ，W_i,j表示作为所述W矩阵元素的所述像素p_i,j对应的元素值；λ为一常数；i,j表示所述像素p_i,j在所述全景深度图中的坐标位置；

若像素p_i,j为非所述全景深度图的边界像素，则W_i,j＝0。

5.如权利要求4所述的方法，其特征在于，通过经纬度坐标表示所述像素p_i,j在所述全景深度图中的具体坐标位置。

6.如权利要求1所述的方法，其特征在于，通过一边界损失函数估计所述全景深度特征提取网络提取的所述全景深度图的图像边界与真实图像边界的距离误差，所述边界损失函数通过下式表达：

上式中，为像素b的预测深度；

y(b)为像素b的真实深度；

B(k)为表示构成所述全景深度图的图像边界的k个边界像素的集合；

N表示边界像素集合中的像素数量。

7.如权利要求4或6所述的方法，其特征在于，用于表示所述全景深度图的图像边界的像素数量为16个。

8.一种基于神经网络的全景视频转6DOF视频的系统，其特征在于，包括：

图像输入模块，用于输入ODS全景立体图像；

图像深度特征提取模块，连接所述图像输入模块，用于通过全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的所述全景深度图；

6DOF视频映射模块，连接所述图像深度特征提取模块，用于基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的所述6DOF视频并保存；

通过一全景损失函数表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数通过以下公式表达：

上式中，w用于表示所述全景深度图的图宽；

h用于表示所述全景深度图的图高；

H(Δ)为所述全景深度图中的每个像素的berHu矩阵；

表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；

W用于表示所述全景深度图的边界像素的权值矩阵；

n表示W矩阵中非零元素的个数。