[发明专利]提供驾驶舱的人机工程三维手势多模态接口的系统和方法

权利要求书

1.一种用于操作航空器的方法，所述方法包括：

基于用户手臂和手相对于飞行员支撑装置的位置，生成基本上围绕用户手的有效交互体积；

在有效交互体积内执行的手势指示有效手势输入时进行识别；以及

生成相关联的系统命令。

2.根据权利要求1所述的方法，其中，飞行员支撑装置包括耦合到扶手的座椅；以及

其中，生成有效交互体积的步骤包括：

相对于至少一个传感器而定位扶手；以及

基于座椅、扶手和所述至少一个传感器的定位和位置而构造有效交互体积。

3.根据权利要求2所述的方法，其中，生成有效交互体积的步骤还包括：

感测用户的手掌和手指在有效交互体积内的定位；以及

分析扶手的长度、扶手的高度、在扶手与手臂之间的角度、手掌末端点、手掌底部关节、肘部-扶手接触点和座椅位置中的至少之一。

4.根据权利要求1所述的方法，其中，识别的步骤包括：

生成包括多个规则的三维手势交互模型，其中，所述规则包括一个或多个有效手势分量；

在有效交互体积内做出的手势期间，区分手掌与手指的静态和动态特征；

解析手掌与手指的静态和动态特征；以及

将手掌与手指的静态和动态特征与在三维手势交互模型中定义的规则相比较。

5.根据权利要求4所述的方法，还包括：

基于三维手势交互模型，将一个或多个解析的特征分组到分量组中；以及以下的至少之一：

i)从用户反馈数据源获得用户反馈描述符，将分量组与用户反馈描述符相比较，以及生成视觉和听觉用户反馈；以及

ii)从系统命令数据源获得系统命令描述符，以及将分量组与系统命令描述符相比较。

6.根据权利要求5所述的方法，其中，生成视觉反馈的步骤至少包括以下之一：

i)生成手势指针，以及在显示单元上显示手势指针；以及

ii)基于任务而生成表示用户的手掌与手指的三维图像，以及在显示单元上显示所述三维图像。

iii)根据权利要求6所述的方法，其中，生成视觉反馈的步骤包括：

生成表示用户接口元素的图像，所述用户接口元素具有至少一个相关联的功能可供性；以及

在显示单元上显示所述图像。

7.一种航空器机载的体积计算系统，包括：

飞行员支撑装置；

传感器；

显示设备；以及

处理器，所述处理器耦合到飞行员支撑装置、传感器和显示器，所述处理器被配置为(a)基于用户手臂和手相对于飞行员支撑装置的位置，生成基本上围绕用户手的有效交互体积；(b)在有效交互体积内执行的手势指示有效手势输入时进行识别；以及(c)生成相关联的系统命令。

8.根据权利要求7所述的系统，其中，飞行员支撑装置包括：

扶手，所述扶手耦合到座椅；以及

其中，所述处理器还被配置为基于座椅、扶手和传感器的定位和位置，构造预定的传感器体积。

9.根据权利要求8所述的系统，其中，所述处理器还被配置为：

感测用户的手掌和手指在预定的传感器体积内的定位；以及

分析扶手的长度、扶手的高度、在扶手与手臂之间的角度、手掌末端点、手掌底部关节、肘部-扶手接触点和座椅位置中的至少之一。

10.根据权利要求7所述的系统，还包括：

三维手势交互模型数据源，其中，模型数据源耦合到处理器，以及其中，模型数据包括与一个或多个有效手势分量相关联的多个规则；以及

其中，所述处理器还被配置为：(a)在有效交互体积内做出的手势期间，区分手掌与手指的静态和动态特征；(b)解析手掌与手指的静态和动态特征；以及(c)将解析的特征与在三维手势交互模型中定义的规则相比较。