[发明专利]用于混合实境的设备和方法

摘要

所揭示的实施例是关于用于混合实境的设备、系统及方法。在一些实施例中，可确定相对于实况图像中的被跟踪对象的相机位姿且使用所述相机位姿从3D模型中的关键帧再现不具有所述被跟踪对象的合成图像。可确定第一掩模区中的像素相对于所述合成图像的子集的光流量值，且可使用所述光流量值确定所述合成图像子集中的每一者中的对应于所述第一掩模中的像素的像素。对于所述第一掩模中的每一像素，可将对应的替换像素确定为随所述合成图像子集中的对应于所述第一掩模中的所述对应像素的像素而变。

主权项

一种用于混合实境的方法，其包括：获得多个实况图像，所述实况图像包括被跟踪对象；针对所述多个实况图像中的一实况图像，确定相对于所述被跟踪对象的相机位姿；基于所述相机位姿而再现不具有所述被跟踪对象的多个合成图像，每一合成图像是从3D模型中的相异关键帧获得；比较所述实况及合成图像以确定与所述被跟踪对象相关联的第一掩模区；计算与所述被跟踪对象相关联的第一掩模区中的多个像素相对于所述多个合成图像中的合成图像子集的光流量值；针对所述第一掩模中的所述多个像素中的每一者，部分基于所述光流量值确定所述合成图像子集中的每一者中的对应像素；及确定所述第一掩模中的所述多个像素中的每一者的替换像素，每一替换像素对应于所述第一掩模中的相异像素，其中将每一替换像素确定为随所述合成图像子集中对应于所述第一掩模中的像素的所述对应像素而变。