[发明专利]一种面向三维笔式交互平台的多通道自适应操作方法

说明书

技术领域

本发明属于人机交互领域，尤其是指三维笔式交互领域，具体涉及一种面向三维笔式交互平台的多通道自适应操作方法。

背景技术

随着可穿戴设备、智能家居、物联网等领域的发展，全面打造智能化的生活已经成为接下来的研究热点，而如何使人机交互的方式更加自然、流畅就成为了实现这些技术的关键环节。笔式交互作为一种自然的交互方式越来越受到人们的重视，是人机交互领域的一个研究热点。目前，基于纸笔隐喻的交互方式已经在二维平面交互中取得了很好的发展，如果将传统的二维笔式交互扩展到三维空间下的笔式交互，不仅可以让用户体验更加丰富的交互方式，带来更多的乐趣，而且还可以在教育、远程交互、会议等领域发挥出更大的价值。

为了使三维笔式或者手式交互更加自然，通常与其它交互方式进行融合。其中，中国专利“一种面向触控设备的多通道精确目标定位方法”(申请号201110445164.1)公开了一种面向触控设备的精确目标定位方法，利用触控输入和语音输入的融合算法，得到准确的目标定位。但是这种方法只适用于平面交互，而不适合与三维操作。中国专利“基于语音和手势识别的多模态非触摸人机交互方法及系统”(申请号CN201510396954.3)公开了一种语音和手势融合的交互方式，在基本的语音识别、手势识别的基础上，通过定义语音和手势的联合语义来提高交互效率。但是这种方法限制了用户自己选择交互通道的权利，这样在某些特定的交互场合下就存在一定的弊端。所以在交互过程中根据人的意愿实现交互通道的自然切换从而配合用户完成更加精确的操作则显得非常重要。

发明内容

本发明提供一种面向三维笔式交互平台的多通道自适应操作方法，目的在于利用多通道输入，从而利用不同通道的优势完成对虚拟目标对象的精准操控。

本发明采取的技术方案是，包括下列步骤：

(一)、用户在使用笔式交互平台与虚拟物体进行交互时，集成在笔中的交互通道输入单元以一定的频率采集笔势输入信息和语音输入信息，并将数据送到处理单元；

(二)、通过分析笔的空间位置信息(x,y,z)以及空间姿态信息(α,β)，利用多通道融合算法实现用户意图分析，完成笔式交互通道与语音交互通道的自然切换；

(三)、根据所选择的交互通道，利用对应的通道操作算法，执行对虚拟目标对象的操作变换。

本发明所述的笔式交互平台包括三维书空模式的交互笔套件以及电子白板或者液晶屏幕等主机套件。用户在使用笔与交互界面中虚拟目标对象进行交互时，笔的空间位置信息以及姿态信息可以分别通过笔式交互通道中的超声波传感器以及加速度计陀螺仪实时获得，用户的语音信息可以通过集成在笔上的麦克风获得。为了便于对交互数据的存储、传输与处理，本发明将这两个交互通道的数据进行分时采样，将其整合到一起进行处理。

本发明所述步骤(二)中的多通道融合算法，包括下列步骤：

(1)、将笔式交互通道中采集的采样点按先后顺序存储到长度为N的存储队列中；

(2)、将这N个采样点组成两个集合，位置信息集合A＝{a₀…a_i…a_N-1}，姿态信息集合B＝{b₀…b_i…b_N-1}，其中编号为N-1的采样点为最近时刻的采样点；

(3)、计算出位置集合中每一个点相对于a₀的变化量△D，并求出其中的最大值△D_max；计算出姿态角集合中每一个姿态角相对于b₀的变化量△θ，并求出其中的最大值△θ_max；

(4)、判断距离改变量△D_max与距离阈值△D_th、角度改变量△θ_max与角度阈值△θ_th的大小关系，若△D_max与△θ_max分别小于各自的阈值，则判定用户意图为语音交互，自然切换到语音交互通道并对虚拟物体执行语音交互所对应的操作；否则判定用户的交互意图为笔式交互，自然切换到笔式交互通道并对虚拟物体执行笔式交互所对应的操作。

本发明所述步骤(二)中的多通道融合算法中，所述队列分别存储着交互过程中笔的位置和姿态信息，其中距离改变量的计算方法为：