[发明专利]一种虚拟现实移动端中基于矩阵逆运算的图像扭曲方法

摘要

本发明公开了一种虚拟现实移动端中基于矩阵逆运算的图像扭曲方法，包括：1)读取当前帧及设备状态；2)把当前帧时刻屏幕坐标系下坐标转换为当前帧时刻标准化设备坐标系下坐标；3)根据当前帧时刻标准化设备坐标系下坐标得到其位于世界坐标系中坐标；4)根据世界坐标系中坐标得到对应下一帧时刻标准化设备坐标系下坐标；5)对下一帧时刻标准化设备坐标系下坐标进行线性变换，最终转换成屏幕坐标系下坐标；6)把每个当前帧时刻屏幕坐标系下坐标中的像素RGB值赋给对应的下一帧时刻屏幕坐标系下坐标中，从而得到最后的扭曲图像。本发明为虚拟现实中一种生成中间帧方法，能够有效减少VR游戏中的抖动，从而增加用户体验。

主权项

1.一种虚拟现实移动端中基于矩阵逆运算的图像扭曲方法，其特征在于，包括以下步骤：步骤1，读取当前帧信息，并且得到当前帧时刻屏幕坐标系下坐标(xoriginal，yoriginal)T，读取设备当前帧及下一帧时刻状态；步骤2，对步骤1的读入数据进行必要预处理，把当前帧时刻屏幕坐标系下坐标(xoriginal，yoriginal)T转换为当前帧时刻标准化设备坐标系下坐标(x，y，z，w)T，根据设备状态生成第一旋转矩阵R、第二旋转矩阵R′；步骤2包括以下步骤：步骤2‑1，把当前帧时刻屏幕坐标系下坐标(x_original，y_original)^T转换为当前帧时刻标准化设备坐标系下坐标(x，y，z，w)^T，具体为：z＝2*depth_original(x_original，y_original)‑1，w＝1.0；式中：WindowWidth为图像宽度，WindowHeight为图像高度，depth_original(x_original，y_original)为(x_original，y_original)^T对应的深度信息值；步骤2‑2，根据设备状态生成旋转矩阵R、R′，具体步骤为：步骤2‑2‑1，通过欧拉角生成四元素，转换公式为：步骤2‑2‑2，通过四元素生成旋转矩阵，转换公式为：把欧拉角ψ、θ、带入步骤2‑2‑1～2‑2‑2中得到第一旋转矩阵R，把欧拉角ψ′、θ′、带入步骤2‑2‑1～2‑2‑2中得到第二旋转矩阵R′；步骤3，根据投影矩阵P、第一旋转矩阵R、视点平移矩阵T，对每个当前帧时刻标准化设备坐标系下坐标(x，y，z，w)T进行矩阵逆变换，得到其位于世界坐标系中坐标(xworld，yworld，zworld，wworld)T；步骤3包括以下步骤：步骤3‑1，获取投影矩阵P，对其求逆得到P‑1，对当前帧时刻标准化设备坐标系下坐标(x，y，z，w)T进行投影逆变换，得到当前帧时刻相机坐标系下坐标(xcamera，ycamera，zcamera，wcamera)T，公式为：(xcamera，ycamera，zcamera，wcamera)T＝P‑1(x，y，z，w)T；步骤3‑2，对步骤2求得的第一旋转矩阵R及视点平移矩阵T求逆，求得矩阵R‑1、T‑1；对于当前帧像素，其世界坐标系坐标为：(xworld，yworld，zworld，wworld)T＝T‑1·R‑1·(xcamera，ycamera，zcamera，wcamera)T；步骤4，根据视点平移矩阵T、第二旋转矩阵R′、投影矩阵P，对世界坐标系中坐标(xworld，yworld，zworld，wworld)T进行矩阵变换，得到对应下一帧时刻标准化设备坐标系下坐标(x′，y′，z′，w′)T；步骤4包括以下步骤：步骤4‑1，根据步骤2求得的第二旋转矩阵R′及视点平移矩阵T，求得世界坐标系下坐标(xworld，yworld，zworld，wworld)T位于下一帧时刻相机坐标系下坐标(xcamera_1，ycamera_1，zcamera_1，wcamera_1)T，其变换公式为：(xcamera_1，ycamera_1，zcamera_1，wcamera_1)T＝R′·T·(xworld，yworld，zworld，wworld)T；步骤4‑2，获取投影矩阵P，对下一帧时刻相机坐标系下坐标(xcamera_1，ycamera_1，zcamera_1，wcamera_1)T进行投影变换，得到下一帧时刻标准化设备坐标系下坐标(x′，y′，z′，w′)T，其变换公式为：(x′，y′，z′，w′)T＝P·(xcamera_1，ycamera_1，zcamera_1，wcamera_1)T；步骤5，对步骤4得到的下一帧时刻标准化设备坐标系下坐标(x′，y′，z′，w′)T进行线性变换，最终转换成屏幕坐标系下坐标(xfinal，yfinal)T；步骤6，把每个当前帧时刻屏幕坐标系下坐标(xoriginal，yoriginal)T中的像素RGB值赋给对应的下一帧时刻屏幕坐标系下坐标(xfinal，yfinal)T中，从而得到最后的扭曲图像。