[发明专利]一种360°全息实时交互方法

摘要

本发明公开了一种360°全息实时交互方法，解决了现有技术中，全息再现的内容受到限制、无法进行交互操作等问题。该360°全息实时交互方法包括实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频信息；实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础；实时信息再现，根据实时信息处理后的数据实现全息影像的再现；实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对语音、手势的识别，实现全息影像的变化，实现交互。本发明将360°全息显示技术与新型交互技术结合，实现了多技术的融合。

主权项

1.一种360°全息实时交互方法，其特征在于，包括：实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频信息；实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础；实时信息再现，根据实时信息处理后的数据实现全息影像的再现；实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对语音、手势的识别，实现全息影像的变化，实现交互；在所述实时信息采集中，采用四台相同型号和性能的前端信息采集设备：一号摄像机、二号摄像机、三号摄像机、四号摄像机，分别从用户前、后、左、右四个方位采集用户信息；其中，位于前面的一号摄像机采集用户的正面视频、音频信息，接受用户手部姿势和语音命令的交互信息，其余摄像机采集用户的对应方位的视频信息；四台摄像机同步工作且与用户的定位区域等距，四台摄像机镜头准心在同一水平线上；所述实时信息处理包括：用户信息初步处理：将用户从复杂的环境中提取出来，完成全息显示真实模式下的用户信息初步处理；虚拟形象的初步处理：建立全息显示虚拟模式下的无背景虚拟人物模型，完成虚拟形象的初步处理；实时信息拼接：建立拼接通道，并对所有方位的信息与拼接通道实现匹配建立拼接的映射关系，实现全息真实影像及虚拟影像的再现的数据基础；所述将用户从复杂的环境中提取出来包括如下步骤：(1)定义帧图像的图像小基元，将每个帧图像的图像小基元表示为M×N个像素构成；(2)计算连续两帧图像的帧差：ID(x，y，t)＝|I(x，y，t)‑I(x，y，t‑1)|，将帧差公式转换为像素表达ID(m，n)＝|I(m，n，tt)‑I(m，n，t‑1)|，基于帧图像的图像小基元，定义高斯检验模型公式GSlarge(i)和GSsmall(i)：其中，Gk(i)表示M×N的像素小基元帧差的k阶矩，GSsmall(i)表示较小尺寸的高斯检验模型，GSlarge(i)表示较大尺寸的高斯检验模型；(3)根据图像小基元的实际大小选择对应的高斯检验模型，较小尺寸对应选择GSsmall(i)，较大尺寸则对应选择GSlarge(i)，根据高斯检验模型对帧图像进行检验，提取出非高斯信号；(4)经过高斯检验后，定义二值掩模图像MASK(x，y)，当|GS(i)|≤Gth时，MASK(x，y)＝0，表示像素点处于静止区域；当|GS(i)|＞Gth时，MASK(x，y)为1时，表示像素点处于运动区域；(5)区分帧图像的运动与静止区域，实现初步提取；(6)采用改进分水岭算法和比重算法，得到新二值掩模图像MASKnew(x，y)，将得到的新二值掩模图像与原图像结合，得到最终的提取对象；(7)对所有方位的视频图像执行步骤(1)‑(6)。