[发明专利]一种基于单目手势控制的桌面交互系统

说明书

本发明提出一种基于单目手势控制的桌面交互系统，所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。所述系统检测准确、控制灵敏，成本低、体积小、功耗低，支持用户自定义手势，操作体验好，并可为复杂的控制及数据交互提供支持。

技术领域

本发明属于手势控制技术领域，特别是涉及一种基于单目手势控制的桌面交互系统。

背景技术

桌面控制与互动是人机交互的主要应用方向之一。在办公领域中，电动升降桌是现代办公中广泛采用的办公设备，可以通过调节桌面高度提供站/坐两种办公位置。而在消费娱乐领域中，各类多媒体触控桌面也为人机交互提供了多样的选择。

然而，目前桌面交互大多采用实体按钮或触屏进行控制，操作区域及灵活性受限，且桌面通常需要为控制区预留空间，影响正常使用。

基于单目摄像头的手势控制能够实现大操作区域内的非接触式操作，可以为用户提供便捷、自然的交互体验，相较于实体按钮及触屏，所支持的手势更为灵活多样，从而能够为复杂的交互控制提供支持。同时，桌面硬件结构只需为摄像头镜头提供安装口，对桌面平整度影响小，不占用桌面空间，无需手势功能时可作为普通桌面使用。此外，相较于其他摄像头方案如深度摄像头、多角度成像等，单目摄像头成本低、结构简单、易于安装与维护，更有利于产品化及批量化。

目前的桌面交互系统中，使用实体按键及触屏设备需要预留按键位及触屏位，操作区域及灵活性受限，且桌面通常需要为控制区预留空间，影响正常使用。操作方式较为固定，定制化程度不高，通常不支持用户自定义操作，对复杂系统支持有限。而使用红外边框的交互系统，边框通常高于桌面，影响桌面平整度。使用投影的交互系统则需要额外的安装空间，或者以外设形式使用，无法镶嵌于桌面内部。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种基于单目手势控制的桌面交互系统。

本发明是通过以下技术方案实现的，本发明提出一种基于单目手势控制的桌面交互系统，所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；

所述中控模块分别与所述手势检测模块、数据传输模块和反馈模块相连接，用于控制其他各模块的运行；所述手势检测模块采用单目摄像头检测用户手势图像，所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台从而控制受控设备或后台执行所述手势命令对应的功能，所述中控模块还用于从受控设备或后台获取运行结果，所述运行结果通过反馈模块向用户提供反馈；

所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。

进一步地，利用卷积神经网络进行静态手势提取，所述卷积神经网络层数不多于8层。

进一步地，所述动态手势提取在静态手势提取基础上进行，所述交互系统存储着一段时间内提取到的静态手势序列，当提取到新的静态手势时，将当前提取结果与前序静态手势进行对比，提取该段时间内的位置变化、形态变化及姿态变化，从而得到动态手势。