[发明专利]一种混合现实沙盘装置和方法

摘要

本发明公开了一种混合现实沙盘装置和方法，由素模沙盘、投影机和计算机组成，输入是来自于真实世界的多个监控摄像机，它们采集真实世界的局部场景，为装置提供输入视频流，装置的素模沙盘按照真实场景以一定比例尺制作，输入视频流对应区域的表面为浅色漫反射材质；投影机位于素模沙盘上方，向下投影到沙盘表面。该方法使用一种两步对齐策略对输入视频流进行标定，然后通过边缘自适应的图像融合算法对重叠区域进行拼接，根据得到的标定结果，在装置运行过程中将真实场景的图片和视频实时融合并投影到素模沙盘表面，实现对真实场景动态变化的实时模拟和缩微重现。

主权项

1.一种混合现实沙盘装置，其特征在于：包括监控摄像机、素模沙盘、投影机和计算机；首先借助一台辅助相机对投影机和素模沙盘坐标系进行标定，之后将监控摄像机拍摄的视频流输入至计算机，计算机通过两步对齐策略将输入视频流标定到素模沙盘的对应位置上，并经过边缘自适应的图像融合算法，使不同视频流能够无缝拼接，实现图像融合；最后投影机将计算机实时处理过的融合图像投影到素模沙盘表面，实现对真实场景动态变化的实时模拟和缩微重现；所述两步对齐策略是：首先通过基于特征点对的透视变换完成视频流的粗对齐，将视频流变换至其对应的位置，再通过基于移动最小二乘法的图像变形算法对存在误差的细节进行精对齐；为保证系统实时性，标定过程使用基于OpenGL的纹理映射方法实现。