[发明专利]一种用于虚拟装配的隐式交互方法

摘要

本发明提供了一种用于虚拟装配的隐式交互方法，属于虚拟装配领域。该方法建立场景知识模型和用户知识模型，结合场景知识模型和用户知识模型分别构建显式交互知识库和隐式交互知识库；基于场景任务进行用户隐式意图感知，根据场景物体和虚拟手位置关系的进行场景感知拉近，以及基于物体方向包围盒的特征面和虚拟手的方向关系的进行场景物体旋转。本发明增强了虚拟装配系统的感知能力，降低了用户的操作负担和认知负担。

主权项

一种用于虚拟装配的隐式交互方法，其特征在于：所述方法建立场景知识模型和用户知识模型，结合场景知识模型和用户知识模型分别构建显式交互知识库和隐式交互知识库；基于场景任务进行用户隐式意图感知，根据场景物体和虚拟手位置关系的进行场景感知拉近，以及基于物体方向包围盒的特征面和虚拟手的方向关系的进行场景物体旋转；所述场景知识模型如下：场景知识随着交互任务进行而变化，包括显式场景知识库和隐式场景知识库；所述显式场景知识库由物体知识库和虚拟手知识库组成，物体知识库包含物体编号、物体位置、物体角度、物体的选择标志、物体的操作属性、物体的状态和物体操作完成标志；所述物体角度是用物体OBB包围盒特征面的法向量表示；所述物体的选择标志表示物体被选中并对物体进行任务操作；所述物体的操作属性是指在场景任务中对已选物体能够进行的操作，包括装配物体的抓取、平移、释放；所述物体的状态是指物体的操作属性对应的操作是否执行；所述物体操作完成是指物体的操作属性对应的操作都执行完毕；所述虚拟手知识库包含虚拟手的位置和虚拟手的向上法向量的角度；所述隐式场景知识为场景中物体间和物体与虚拟手的特征关系，包括物体和虚拟手的位置关系、物体和虚拟手的角度关系、物体的关联物体、关联物体的高光显示标志、关联物体的高光显示次数、物体的拉近标志、物体的旋转标志、物体和虚拟手的位置关系阈值、关联物体和虚拟手的位置关系阈值、物体和虚拟手的方向关系阈值、关联物体和虚拟手的方向关系阈值；所述物体的拉近包括：根据当前物体，场景向虚拟手靠近和根据当前物体的关联物体，场景向虚拟手靠近；所述物体的旋转包括物体顺时针向虚拟手旋转、物体逆时针向虚拟手旋转、当前物体的关联物体顺时针向当前物体旋转和当前物体的关联物体逆时针向当前物体旋转；所述用户知识模型如下：用户知识包括用户的手部位置变化和手势；所述用户的手部位置变化包括x变化和y变化，并把用户手部的x变化或y变化超过50mm定义为位置变化；所述手势包含12指抓手势和12指放手势；所述位置变化包括位置向上变化、位置向下变化和其他方向变化；所述显式交互知识库如下：显式交互是系统把显式场景信息和用户的动作当作输入，感知用户的直接交互意图，根据用户的意图语义产生显式输出；所述显式交互知识库包括显式场景知识库和用户动作知识库；所述显式场景知识库中的前提包括上一次推理的意图、物体的操作属性、手部位置是否变化、手势和规则数目；结论包括手部动作和用户意图；所述手部动作包括手向上移动、手向下移动、手向其他方向移动、手握紧和手张开；所述用户意图包括休息、操作、选择、抓取、平移和释放；所述隐式交互知识库如下：隐式交互是把用户显式意图和情境隐含知识当作隐式输入，环境主动配合用户的显式意图产生隐式输出，协助用户完成交互任务；所述隐式交互知识库包括隐式场景知识和用户意图；所述隐式交互知识库中的前提包括当前用户意图和当前用户意图的关联类型，结论包括用户的隐式意图；所述当前用户意图的关联类型包括当前物体和虚拟手的位置关系、当前物体的关联物体显示、当前物体和关联物体的位置关系、当前物体和虚拟手的角度关系和当前物体和关联物体的角度关系；所述用户的隐式意图包括根据当前物体，场景向虚拟手靠近、根据当前物体的关联物体，场景向虚拟手靠近、物体向虚拟手顺时针旋转、关联物体向物体顺时针旋转、物体向虚拟手逆时针旋转、关联物体向物体逆时针旋转。