[发明专利]联合语音信息与手势信息的人机交互方式以及实施装置

摘要

本发明公开了联合语音信息与手势信息的人机交互方式以及实施装置，该人机交互方式在一次交互过程中同时组合使用语音信息与手势信息，表达一个复杂的控制命令，实现人机交互；该装置包括：一摄像头，一声音传感器，以及一套图像、声音处理系统。结合从手势信息中提取的特定场景描述，本发明能够准确的通过语音进行复杂的人机交互控制，极大的提高人机交互的沟通效率，提升用户体验。该新型的结合语音与手势信息的人机交互方式相对其他方式来说，准确度高，复杂度低，并且可以方便的应用于各类具有声音和图像传感器的设备中。

主权项

联合语音信息与手势信息的人机交互方式，其特征在于，使用者需要向被控制设备（113）同时发送肢体动作信息（101）和语音命令（103）；肢体动作通过摄像头（102）采集，语音命令（103）通过声音传感器（104）采集，一同送入信息处理系统（111）；所述信息处理系统（111）包括图像处理模块（105）、声音信号处理模块（106）、手势识别模块（107）、语音识别模块（108）、信息合并模块（109）和人机交互判断模块（110），产生控制命令（112）交由被控制设备（113）执行。