[发明专利]一种基于触摸屏手势识别的虚拟沙画绘制方法

摘要

本发明属于虚拟沙画绘制方法技术领域，具体涉及一种基于触摸屏手势识别的虚拟沙画绘制方法。本发明主要为解决真实沙画绘制受限于经费，师资力量、设备等因素，目前沙画表演的教学与介绍多为小规模的培训班模式，培训学习费用较为昂贵，且由于需要专业的绘制设备，导致难于练习，相较于传统绘画，其参与门槛较高，推广较为困难的问题。本发明利用PQ Labs G4S触摸屏获取触摸位置信息，分析接触类沙画绘制手势，构建图形结构描述手势特征，采用图嵌入方法将其描述为特征向量进而对触摸手势进行分类识别，同时结合Unity3D强大的渲染功能，以像素模拟沙粒构建沙画绘制笔刷，最终实现虚拟沙画的绘制。

主权项

1.一种基于触摸屏手势识别的虚拟沙画绘制方法，其特征在于：包括以下步骤：1)数据采集：将PQ Labs G4S触摸屏与显示器相粘合，连接触摸屏至计算机确保触摸数据能够正确传输；通过TUIO协议在Unity3D中对触摸数据进行接收，依据触摸点识别ID将触摸产生的时间，位置，活动状态分别接收存储，然后将其封装为Unity3D触摸事件；2)数据处理：对触摸事件在三维场景内生成的实例化触点进行坐标轴对齐、坐标偏差修正处理；3)手势描述：根据真实沙画绘制时的接触类绘制手法，结合触摸屏操作和Unity3D引擎处理特点，将模拟手势定义为手指单点与多点抹沙、手掌抹沙、手掌铺沙；使用图形建模的方式描述不同手势的特征；4)手势识别：采用图嵌入方法构建不同模拟绘制手势的特征向量，依据特征向量建立手势数据库，使用触摸屏采集触摸位置与库中手势进行匹配，从而完成对模拟绘制手势进行分类识别；5)虚拟沙画笔刷构建：根据真实沙画绘制效果，采用像素模拟真实沙粒的方法构建沙画绘制笔刷，依照手指抹沙和手掌抹沙、铺沙绘制特点，使用shader渲染实时赋予画板材质，从而对沙画绘制进行效果模拟；6)沙画绘制：结合触摸手势与绘制笔刷实现触摸屏虚拟沙画的绘制。