[发明专利]一种基于YOLOv3的视觉投影交互方法

摘要

本发明公开了一种基于YOLOv3的视觉投影交互方法，系统硬件包括PC、摄像头、近红外激光、近红外滤光片和投影仪，本发明的交互场景是弓箭射击虚拟交互场景，核心目标是获取弓箭的离弦速度和弓箭的击中位置，包括步骤，首先系统利用近红外激光构建一个近红外光面，当弓箭触及该光面时将产生高亮光斑，之后通过二值化、膨胀、腐蚀等图像处理算法来实现对射击位置的检测；其次，利用YOLOv3神经网络算法实现对双手位置的检测，进而确定双手距离；最后通过双手距离与弓箭离弦速度的线性关系获得弓箭的离弦速度。本发明使用YOLOv3神经网络模型进行双手位置的检测，相对于传统的手势追踪，本发明在准确度和速度方面拥有明显的优势。

主权项

1.一种基于YOLOv3的视觉投影交互方法，采用视觉投影交互系统，所述的包括投影仪、近红外激光、带近红外滤光片的摄像头、普通摄像头和电脑，所述近红外激光沿投影面安装，上下各两个，用以形成近红外激面；所述普通摄像头与电脑相连，用于捕捉用户做出双手动作时刻的画面；所述带近红外滤光片的摄像头安装于相对所述投影面的支架上且所述与电脑电气相连，用于捕捉用户双手动作的作用物触及近红外激光面时的画面，所述投影仪安装于相对所述投影面的支架上，用以向投影面投影交互画面，其特征在于，包括步骤：S1、收集预定数量的拉弓时刻的画面训练集，并对所述拉弓时刻的画面训练集进行标注；S2、使用迁移学习的方式对预训练的YOLOv3模型进行训练，最终得到一个基于YOLOv3的双手检测模型；S3、打开近红外激光，构建近红外激光面，投影仪将交互界面投向激光面；S4、利用安装有滤光片的摄像头采集箭击中时刻的画面；S5、将所述箭击中时刻的画面转换为灰度图像，根据灰度阈值对画面进行二值化转换；S6、采用腐蚀、膨胀图像处理算法对灰度图像进行降噪处理，获取位置信息；S7、摄像头采集拉弓时刻的画面；S8、载入训练好的双手检测模型，将摄像头采集的拉弓时刻的画面传给双手检测模型进行检测，获得位置信息。