[发明专利]一种基于Mavlink协议的自由立体显示器三维输入交互装置

说明书

本发明公开了一种基于Mavlink协议的自由立体显示器三维输入交互装置，属于立体显示与交互领域。该装置包括姿态获取模块、数据传输模块、立体图像处理模块。姿态获取模块利用pixhawk获取输入端的姿态信息，并借助WiFi模块进行模块间信息传递。数据传输模块借助Mavlink协议，将获取信息的命令从树莓派打包发送至pixhawk，同时pixhawk将采集到的各种信息按照协议约定打包从pixhawk串口发送至树莓派，树莓派再按照协议解码得到数据。立体图像处理模块将解码后的控制信号数据与外部输入的数字图像信息进行融合，将输入端的姿态变化显示在屏幕上，最终将输入姿态和立体图像结合，以达到立体交互的目的。本发明操作过程简单方便，信息传输安全可靠稳定，人机交互体验完善。

技术领域

本申请涉及立体显示与交互领域，具体涉及一种基于Mavlink协议的自由立体显示器三维输入交互装置。

背景技术

目前，随着立体显示与交互的技术发展，传统的桌面鼠标键盘式控制方式已不足以满足新的需求，取而代之的是更为智能立体的方式。姿态、手势、语音、表情等交互技术正在迅速发展，立体显示和三维输入交互更是其中最具代表性的关键技术。

传统的人机交互装置，如光学鼠标，其原理大多数局限于二维平面上，利用光学设备，获取人手的当前相对坐标，将人的姿态移动映射到二维显示屏上的坐标，从而实现对光标的控制。

现有的空中鼠标与立体显示的交互方式，是将鼠标的水平坐标绘制一张视图，利用水平坐标及景深变化引起的像素点的累计变化量，计算出变化后的鼠标水平坐标，绘制另一张视图。利用视差原理将两幅视图传入立体显示器从而达到交互的效果。此种方法视觉信息较为单一，不够立体全面。

还有一种新的空中鼠标，是将双轴陀螺仪和重力加速度传感器内置于鼠标内，通过输出旋转角度变化的电压信号，利用单片机完成数模转换，动态计算出每个轴的旋转角度变化量，运动时各方向的角速度，并根据各方向的角速度与速度的对应关系确定鼠标在各方向上的移动速度，最后根据移动时间来确定空中鼠标在各方向上的位移完成鼠标空中的旋转控制。但这种方式没有明确的数据传输方法和立体显示所对应的参数映射。

另一种是采用模式识别或图像识别手势。采用图像识别需要配备一定清晰度的摄像模组和图像处理芯片，成本较高；在远距离时，图像识别手势的精度不高，容易造成误操作；在一些环境下(比如暗光、雾霾天气等)，图像识别效果很差。而且使用图像识别还意味着操控的手必须在摄像模组视野范围内，具有很大的局限性；同样模式识别手势在无人机控制领域有较多不足，无法完美满足控制需求。

由此可知，现有技术存在如下缺点：

(1)二维手势控制交互装置已经不能满足当前人们的需求，需要有更高维控制交互的技术。

(2)鼠标与立体显示交互模式单一，视觉信息不够全面，立体显示效果不足。

(3)采集到的数据传输给上位机时没有固定统一的传输协议，数据传输不可靠且不稳定。

(4)图像识别手势交互对硬件和环境要求太高，适用范围狭窄。

pixhawk是一款高性能自动驾驶仪，适用于固定翼，多旋翼，直升机，汽车，船只以及任何可移动的其他机器人平台。它针对高端研究，业余和行业需求，并结合了PX4FMU+PX4IO的功能。Pixhawk采用带有FPU的32位STM32F427芯片，它的采用Cortex M4内核，主主频为168M，具有252MIPS的运算能力、256KB的RAM以及2MB的闪存，同时具有一片型号为STM32F103的故障协处理器芯片。