[发明专利]用于混合实境的设备和方法

权利要求书

1.一种用于混合实境的方法，其包括：

获得多个实况图像，所述实况图像包括被跟踪对象；

针对所述多个实况图像中的一实况图像，确定相对于所述被跟踪对象的相机位姿；

基于所述相机位姿而再现不具有所述被跟踪对象的多个合成图像，每一合成图像是从3D模型中的相异关键帧获得；

比较所述实况及合成图像以确定与所述被跟踪对象相关联的第一掩模区；

计算与所述被跟踪对象相关联的第一掩模区中的多个像素相对于所述多个合成图像中的合成图像子集的光流量值；

针对所述第一掩模中的所述多个像素中的每一者，部分基于所述光流量值确定所述合成图像子集中的每一者中的对应像素；及

确定所述第一掩模中的所述多个像素中的每一者的替换像素，每一替换像素对应于所述第一掩模中的相异像素，其中将每一替换像素确定为随所述合成图像子集中对应于所述第一掩模中的像素的所述对应像素而变。

2.根据权利要求1所述的方法，其进一步包括再现减弱实境图像，所述减弱实境图像是至少部分基于所述替换像素而获得。

3.根据权利要求2所述的方法，其进一步包括在所述图像中由所述第一掩模指示的区中再现虚拟对象，所述虚拟对象是基于当前相机位姿而再现。

4.根据权利要求3所述的方法，其中在所述图像中由第一掩模指示的所述区中再现所述虚拟对象包括：

将所述图像中的至少一个已知实际对象的虚拟表示再现到虚拟z缓冲器中，所述实际对象至少部分在所述第一掩模中；

分辨所述至少一个已知实际对象与所述虚拟z缓冲器中的所述虚拟对象之间的遮挡；及

扭曲所述虚拟z缓冲器以匹配所述图像，所述扭曲部分基于所述至少一个已知实际对象的所述虚拟表示与所述图像中的所述至少一个实际对象之间的光流。

5.根据权利要求1所述的方法，其中确定所述合成图像子集中的每一者中的对应像素包括：

基于所述光流获得所述第一掩模中的所述多个像素中的每一者的位移及强度校正。

6.根据权利要求1所述的方法，其中：

将每一替换像素确定为所述合成图像子集中的对应像素的加权平均，其中与所述子集中的合成图像中的对应像素相关联的权重部分基于所述对应像素的所述光流量值及所述实况图像与所述合成图像之间的与所述对应像素相关联的角度位移。

7.根据权利要求6所述的方法，其中所述第一掩模Mˊ区包括围绕所述被跟踪对象的第二掩模区M，且其中通过从边界Mˊ-M进行分散数据内插而确定M中的每一替换像素的所述光流量值。

8.根据权利要求1所述的方法，其中所述多个合成图像及所述多个合成图像的所述子集各自包括三个合成图像。

9.根据权利要求1所述的方法，其中使用同时定位与地图创建SLAM跟踪技术确定所述相机位姿。

10.一种移动台MS，其包括：

相机，其经配置以俘获包括被跟踪对象的多个实况图像，

存储器，所述存储器用以存储包括多个关键帧的3D模型，及

处理器，其耦合到所述相机及所述存储器，所述处理器经配置以：

针对所述多个图像中的一实况图像，确定相对于所述被跟踪对象的相机位姿；

基于所述相机位姿而再现不具有所述被跟踪对象的多个合成图像，每一合成图像是从相异关键帧获得；

比较所述实况及合成图像以确定与所述被跟踪对象相关联的第一掩模区；

计算与所述被跟踪对象相关联的第一掩模区中的多个像素相对于所述多个合成图像中的合成图像子集的光流量值；

针对所述第一掩模中的所述多个像素中的每一者，部分基于所述光流量值确定所述合成图像子集中的每一者中的对应像素；及

确定所述第一掩模中的所述多个像素中的每一者的替换像素，每一替换像素对应于所述第一掩模中的相异像素，其中将每一替换像素确定为随所述合成图像子集中对应于所述第一掩模中的所述像素的所述对应像素而变。

11.根据权利要求10所述的MS，其中所述处理器进一步经配置以：

再现减弱实境图像，所述减弱实境图像是至少部分基于所述替换像素而获得。