[发明专利]一种基于YOLOv3的视觉投影交互方法

说明书

本发明公开了一种基于YOLOv3的视觉投影交互方法，系统硬件包括PC、摄像头、近红外激光、近红外滤光片和投影仪，本发明的交互场景是弓箭射击虚拟交互场景，核心目标是获取弓箭的离弦速度和弓箭的击中位置，包括步骤，首先系统利用近红外激光构建一个近红外光面，当弓箭触及该光面时将产生高亮光斑，之后通过二值化、膨胀、腐蚀等图像处理算法来实现对射击位置的检测；其次，利用YOLOv3神经网络算法实现对双手位置的检测，进而确定双手距离；最后通过双手距离与弓箭离弦速度的线性关系获得弓箭的离弦速度。本发明使用YOLOv3神经网络模型进行双手位置的检测，相对于传统的手势追踪，本发明在准确度和速度方面拥有明显的优势。

技术领域

本发明涉及计算机视觉和图像识别领域，具体涉及一种基于YOLOv3的视觉投影交互方法。

背景技术

由于计算机硬件和软件的快速发展，基于视觉投影的虚拟交互系统能够营造一种使用户具有真实感官体验的交互模式。该系统利用投影仪，在特定的区域中投影一组计算机影像信息，该信息表达了此刻计算机的输出。当用户进入影像区域并与系统进行互动时，系统使用所设计的算法检测和识别用户的有效动作，作出与该动作模式相对应的反应，并在投射的影像信息中向用户反馈，从而形成由投影系统、视觉系统及图像识别算法组成的一整套视觉投影交互系统。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供了一种基于YOLOv3的视觉投影交互方法。

为实现以上目的，本发明采取如下技术方案：

一种基于YOLOv3的视觉投影交互方法，采用视觉投影交互系统，所述的包括投影仪、近红外激光、带近红外滤光片的摄像头、普通摄像头和电脑，所述近红外激光沿投影面安装，上下各两个，用以形成近红外激面；所述普通摄像头与电脑相连，用于捕捉用户做出双手动作时刻的画面；所述带近红外滤光片的摄像头安装于相对所述投影面的支架上且所述与电脑电气相连，用于捕捉用户双手动作的作用物触及近红外激光面时的画面，所述投影仪安装于相对所述投影面的支架上，用以向投影面投影交互画面，包括步骤：

S1、收集预定数量的拉弓时刻的画面训练集，并对所述拉弓时刻的画面训练集进行标注；

S2、使用迁移学习的方式对预训练的YOLOv3模型进行训练，最终得到一个基于YOLOv3的双手检测模型；

S3、打开近红外激光，构建近红外激光面，投影仪将交互界面投向激光面；

S4、利用安装有滤光片的摄像头采集箭击中时刻的画面；

S5、将所述箭击中时刻的画面转换为灰度图像，根据灰度阈值对画面进行二值化转换；

S6、采用腐蚀、膨胀图像处理算法对灰度图像进行降噪处理，获取位置信息；

S7、摄像头采集拉弓时刻的画面；

S8、载入训练好的双手检测模型，将摄像头采集的拉弓时刻的画面传给双手检测模型进行检测，获得位置信息。

进一步地，所述拉弓时刻的画面训练集采用的训练数据格式为voc格式，使用labelImg软件进行标注，标记数据格式为xml格式。

进一步地，标记后的所述拉弓时刻的画面训练集还采用图像旋转、亮度改变和增加的数据增强方法增加数据集。

进一步地，所述使用迁移学习的方式对预训练的YOLOv3模型进行训练时采用的预训练模型为yolov3-voc.cfg和darknet53.conv.74。

进一步地，在转换灰度图像时，利用OPENCV库的cvCvtColor函数，在进行二值化时按如下公式进行：

其中y为灰度值，ε为阈值。