[发明专利]一种基于卷积神经网络的真3D手势交互方法

说明书

本发明提出一种基于卷积神经网络的真3D手势交互方法。所述方法采用LeapMotion获取手势数据，通过综合LeapMotion预测的手势指令和训练好的神经网络模型预测的手势指令，输出手势的语义，并与3D图像进行交互，利用逆光线追迹对交互后的3D图像进行渲染，在渲染的过程中采用空间包围盒技术实现对3D模型的实时渲染，最后将渲染好的3D模型通过集成成像3D显示器显示出来。本发明在显示出真实3D场景的同时，能明显提高手势交互的准确度，提升用户的体验感。

技术领域

本发明属于交互技术领域，更具体地说涉及一种基于卷积神经网络的真3D手势交互方法。

背景技术

随着数字信息化时代及3D显示技术的蓬勃发展，传统展示平台因为展示形式的单一性和用户体验的匮乏性正逐渐被冷落，取而代之的是采用新兴媒体技术，更能吸引用户目光，实现用户交互体验的新型媒体展示平台。因此，人们迫切希望有一种3D图像交互技术支持人机互动交流。手势交互是一种符合人机工程学的交互方式，这种交互方式能够快捷自然地表达使用者的一些简单意图。但是现有的真3D展示平台，手势识别准确率不高，客户体验效果差，不具有实用性。

发明内容

本发明提出一种基于卷积神经网络的真3D手势交互方法。所述方法采用体感交互设备获取手势数据，将手势图像和对应的手势语义输入到设计好的卷积神经网络中进行训练。最终的手势语义通过综合Leap Motion输出的语义和训练好的卷积神经网络输出的语义得到修正后的手势语义，通过定义手势，如附图1所示，与3D图像进行交互，利用逆光线追迹对交互后的模型进行渲染，在渲染的过程中采用空间包围盒技术实现对3D模型的实时渲染，最后将渲染好的3D模型通过集成成像3D显示器显示出来。所述方法在显示出真实3D场景的同时，给用户提供一种准确度更高的手势交互方式，提升用户的体验感。所述方法包括3D模型的手势交互与手势语义修正、3D模型的实时渲染、3D图像的实时显示三个过程。

所述3D模型的手势交互过程中，通过五指曲张控制3D模型的缩放因子，交互手势如附图100所示，对三维仿射坐标进行缩放操作可以表示为：

其中L、W、H分别表示3D模型最大包围盒的长、宽、高，S₁、S₂、S₃分别表示L、W、H对应的缩放因子。

通过平移手掌控制3D模型的移动，交互手势如附图102所示，对三维仿射坐标进行平移操作可以表示为：

其中x、y、z表示3D模型质心的坐标，T_x、T_y、T_z表示x、y、z对应的偏移量。

通过旋转食指可控制3D模型的旋转，交互手势如附图101所示，对三维仿射坐标进行绕x轴旋转，绕y轴旋转，绕z轴旋转操作可分别表示为：