[发明专利]一种基于YOLOv3的视觉投影交互方法

权利要求书

1.一种基于YOLOv3的视觉投影交互方法，采用视觉投影交互系统，所述的视觉投影交互系统包括投影仪、近红外激光、带近红外滤光片的摄像头、普通摄像头和电脑，所述近红外激光沿投影面安装，上下各两个，用以形成近红外激光面；所述普通摄像头与电脑相连，用于捕捉用户做出双手动作时刻的画面；所述带近红外滤光片的摄像头安装于相对所述投影面的支架上且所述与电脑电气相连，用于捕捉用户双手动作的作用物触及近红外激光面时的画面，所述投影仪安装于相对所述投影面的支架上，用以向投影面投影交互画面，其特征在于，包括步骤：

S1、收集预定数量的拉弓时刻的画面训练集，并对所述拉弓时刻的画面训练集进行标注；

S2、使用迁移学习的方式对采用的预训练模型为yolov3-voc.cfg和darknet53.conv.74进行训练，最终得到基于YOLOv3的双手检测模型；

S3、打开近红外激光，构建近红外激光面，投影仪将交互界面投向激光面；

S4、利用安装有滤光片的摄像头采集箭击中时刻的画面；

S5、将所述箭击中时刻的画面转换为灰度图像，根据灰度阈值对画面进行二值化转换；具体是利用OPENCV库的cvCvtColor函数，在进行二值化时按如下公式进行：

其中y为灰度值，ε为阈值；

S6、采用腐蚀、膨胀图像处理算法对灰度图像进行降噪处理，获取作用物触及点位置信息；

S7、摄像头采集拉弓时刻的画面；

S8、载入训练好的双手检测模型，将摄像头采集的拉弓时刻的画面传给双手检测模型进行检测，获得位置信息；所述双手检测模型检测过程包括：

feature map中的每个cell预测3个边界框，每个边界框会预测3类参数包括：坐标信息的预测以及置信度预测和每个类别的概率预测，最终模型将结合上述信息和置信度阈值给出最终位置信息；所述坐标信息具体为中心坐标、预测框的高度bh和宽度bw。

2.根据权利要求1所述的基于YOLOv3的视觉投影交互方法，其特征在于，所述拉弓时刻的画面训练集采用的训练数据格式为voc格式，使用labelImg软件进行标注，标记数据格式为xml格式。

3.根据权利要求2所述的基于YOLOv3的视觉投影交互方法，其特征在于，标记后的所述拉弓时刻的画面训练集还采用图像旋转、亮度改变和增加的数据增强方法增加数据集。

4.根据权利要求3所述的基于YOLOv3的视觉投影交互方法，其特征在于，采用腐蚀、膨胀图像处理算法对图像进行降噪处理，获取位置信息时，所述腐蚀和膨胀算法分别采用OPENCV库中的cvErode函数和cvDilate函数。

5.根据权利要求4所述的基于YOLOv3的视觉投影交互方法，其特征在于，在降噪处理后，利用OPENCV库中cvFindContours函数寻找光斑位置，最终得出作用物触及点位置信息。

6.根据权利要求5所述的基于YOLOv3的视觉投影交互方法，其特征在于，所述的近红外激光为一字线型激光管；所述带近红外滤光片的摄像头的近红外滤光片所虑光线波长与所述近红外激光波长相符。