[发明专利]一种利用Kinect实现实时虚拟影像叠加的方法

说明书

技术领域

本发明涉及多媒体技术，具体涉及一种利用Kinect实现实时虚拟影像叠加的方法。

背景技术

目前AR(增强现实)、VR(虚拟现实)和MR(混合现实)带动了相关领域的快速发展。部分商场银行等场所里面会有一些相关技术制作的游戏(比如接金子、打飞机等)，吸引顾客和机器进行互动来玩游戏。包括一些服装厂商也会提供一些游戏，当顾客站到机器面前，顾客可以“穿上”厂商的服装。这样让顾客有一种参与感，可以提高品牌形象。

但目前现有的技术会有很多缺点。比如摄像头取景的设备，只能输出带有真实背景的图像(比如地面)，会影响顾客对程序场景的代入感。也有的技术需要人站在固定的区域内，当人移动后，镜头不会自动跟踪，会丢失人像的问题。

发明内容

本发明的目的是提供一种利用Kinect实现实时虚拟影像叠加的方法，利用Kinect实现结合骨骼点识别更加逼真且连续动作的实时虚拟影像叠加方法。

本发明的目的是通过以下技术方案来实现：

一种利用Kinect实现实时虚拟影像叠加的方法，使用图像处理软件编辑顶层图片，对顶层图片中的展示区域进行抠图处理，使展示区域为透明区域；为处理后的顶层图片添加定位坐标系，并提取展示区域的定位坐标；使用Kinect采集有人场景的RBG-D图像流，并逐帧输出背景透明的人体前景图片；为人体前景图片添加骨骼点信息，并设置展示骨骼点；将顶层图片叠加在人体前景图片的上层，根据展示骨骼点的空间坐标与定位坐标进行匹配，调节人体前景图片与顶层图片之间的对应位置，二者重合后得到叠加影像图片。

其中，所述提取展示区域的定位坐标的方法为：搜索展示区域内的纵向最长线与横向最长线，所述纵向最长线与横向最长线的交叉点坐标为定位坐标。

所述输出背景透明的人体前景图片的方法为：使用Kinect对有人场景逐帧采集彩色图像与深度图像，然后对彩色图像与深度图像进行裁剪，彩色图像与深度图像的裁剪范围相同；将裁剪后的深度图像与彩色图像进行序列化，得到深度图像数组与彩色图像数组；根据人体索引坐标系对深度图像上的像素点进行有人判断，对每个像素点进行无人点或有人点的判断，将彩色图像与深度图像进行逐点映射，将无人点的颜色设置为透明，而有人点的颜色设置为原色，得到彩色图像数据流；反序列化后得到背景透明的人体前景图片。

所述根据骨骼点信息与定位坐标进行匹配的方法为：导入人体前景图片至定位坐标系中，将定位坐标与展示骨骼点的空间坐标作比较，使二者的横坐标值与纵坐标值分别做差，得到展示骨骼点的横向平移距离与纵向平移距离；或者，将展示骨骼点位于定位坐标系内的起始坐标点设置为定位坐标系的原点，则展示骨骼点的横向平移距离为定位坐标的横坐标值，纵向平移距离为定位坐标的纵坐标值。

所述展示骨骼点的空间坐标值为人体前景图片的缩放值，根据Kinect与人体之间距离与设定距离进行比较，可得到空间坐标值，若前者大于后者，则空间坐标值大于默认坐标值，需要缩小人体前景图片，反之，则放大人体前景图片。

一种利用Kinect实现实时虚拟影像叠加系统，包括：

图像处理单元，用于编辑顶层图片，对顶层图片中的展示区域进行抠图处理，使展示区域为透明区域；

定位坐标系单元，用于为处理后的顶层图片添加定位坐标系，并提取展示区域的定位坐标；

Kinect，采集有人场景的RBG-D图像流，并逐帧输出背景透明的人体前景图片；

图片叠加单元，为人体前景图片设置展示骨骼点，并将顶层图片叠加在人体前景图片的上层，根据展示骨骼点的空间坐标与定位坐标进行匹配，调节人体前景图片与顶层图片之间的对应位置，二者重合后得到叠加影像图片。

在优选的实施方案中，所述图像叠加单元包括以下模块：

骨骼点设定模块，用于设置展示骨骼点；

位置匹配模块，用于根据展示骨骼点的空间坐标与定位坐标进行匹配，调节人体前景图片与顶层图片之间的对应位置。

图片叠加模块，通过位置匹配模块调节人体前景图片在定位坐标系中的位置，将顶层图片叠加在人体前景图片的上层，叠加顶层图片与人体前景图片，输出叠加影像图片。

本发明的有益效果为：

本发明可以通过Kinect将用户从实际背景中剥离出来，可以和虚拟的背景叠加，实现虚拟影像叠加的效果，也可以进一步实现“换头”的效果。如果人体在照射过程中出现大幅度运动，只要不移出Kinect的照射范围，就不会出现丢失“头像”的情况，解决了人需要配合照射范围的问题。

附图说明