[发明专利]一种智能化的隐式交互系统

摘要

本发明提供了一种智能化的隐式交互系统，其特征在于，包括手势动作检测模块实时获取用户体态行为信息,检测用户位置，并检测与识别用户手势动作；显式交互信息获取模块检测智能电视的功能状态信息，获得低层次的显式交互信息；高层次的隐含交互信息获取模块将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息；隐式交互行为模型建立模块将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务。

主权项

一种智能化的隐式交互系统，其特征在于，包括：手势动作检测模块：实时获取用户体态行为信息,检测用户位置，并检测与识别用户手势动作；显式交互信息获取模块：检测智能电视的功能状态信息，获得低层次的显式交互信息；高层次的隐含交互信息获取模块：将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息；隐式交互行为模型建立模块：将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务；所述用户位置是指用户相对智能电视上摄像头的水平距离、角度，检测用户位置具体如下：通过Kinect获取人体主要关节点的三维坐标数据，根据人体头部节点和人体重心坐标信息，确定人体相对智能电视的位置；所述检测与识别用户手势动作包括用户手部静态行为的识别和用户手部动态行为的识别，具体如下：基于Kinect实现手势部位的检测与分割，通过OpenNI SDK获取人手质心坐标，在人手坐标领域内的三维空间提取出手的部位，再使用肤色模型分割方法对获取的人手部位进行处理，得到初步的人手图像，对初步的人手图像进行去噪、膨胀、腐蚀处理，得到最终的人手图像；采用HCDF‑H算法进行用户手部静态行为的识别；用户手部动态行为的识别；所述用户手部动态行为的识别包括：Step1.输入手势图像帧，空间人手三维质心坐标，初始化动态手势类型特征向量DGT；Step2.根据手势质心坐标，以每连续T帧图像计算一次连续T帧图像的静态手势运动距离d，并以连续T帧图像更新一次d；Step3.若d<D，开始识别触发动态手势的静态手势Gesture_start，D为阈值；Step4.若Gesture_start识别成功，获取此时的静态手势质心点S手势并转入Step5；Step5.进行动态手势质心轨迹提取，并将轨迹质心点三维坐标存储在data数组中；Step6.再次判断连续T帧手势运动距离d，若d<D则识别结束静态手势Gesture_end；计算data数组长度length；Step7.若Gesture_end识别成功，获取此时的静态手势质心点E；Step8.若length>20，根据触发动态手势的静态手势质心点S、结束动态手势的静态手势质心点E的坐标值，判断动态手势运动方向，否则，再次判断d，若d>D执行step9，否则返回step8；Step9.判断动态手势类型，求出对应手势ID，并修改对应动态手势ID的key值为1，表示动态手势ID识别成功，输出动态手势类别ID和与ID对应的key值；Step10.DGT恢复初始化；所述建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息是这样实现的：将交互概念节点分为四类：用户行为交互概念节点、设备环境上下文状态信息交互概念节点、交互情景事件节点、激发操作语义的交互概念节点集合；交互概念节点集合C表示多层次动态上下文推理模型的节点集合，C＝(U,S,E,A)，其中U为用户行为交互概念节点集合，S为设备环境上下文状态信息交互概念节点集合，E为交互情景事件节点集合，A为激发操作语义的交互概念节点集合；集合U、S是已知状态参量，E、A是未知参量；初始状态时，根据当前时刻检测到的初始状态值决定U、S中各个节点的概念值，若检测到事件发生，则与之对应的交互概念节点值设置为1，否则为0；E、A中各个概念节点值初始化为0；当多层次动态上下文推理模型收敛到一个稳定状态时，获得稳定状态下各交互概念节点的值，基于多层次动态上下文推理模型的上下文推理计算过程如下式：Ait+1=f(Σj=1i≠jnWijAjt)---(5)]]>f(x)=1/(1+e-12x)---(6)]]>其中，是交互概念Ci在t+1时刻的状态值；是交互概念Cj在t时刻的值，Wij是Ci和Cj的权重，表示相关节点间的因果联系强度，根据交互节点之间边的权值得到CDL‑DFCM的邻接矩阵W，W＝{W11，W12，…Wnn}，f表示阈值函数，其作用是将交互概念的值映射到[0,1]区间，将W反复作用于该矢量，C达到稳定的收敛状态，即wijt+1=wijt+λ(Δqit+1Δqjt+1)---(7)]]>(7)式中，表示Wij第t+1次迭代的权值，λ表示学习率因子，λ＝0.1，Δqxt+1=Axt+1-Axt---(8)]]>表示交互概念节点Cx的值在第t+1次迭代的变化量，表示节点Cx在第t次的迭代值；交互概念集合C映射到感知空间上的交互意图集合I，I＝(I1，I2，…In)，对C上任意交互意图Ix，其隶属函数μx(Ci)，i＝1,2,…,n，其中Ci表示交互概念空间C中的第i个交互概念节点，μx(Ci)在区间[0,1]中取值，μx(Ci)的值反映Ci隶属于Ix的隶属程度，值为0表示Ci不属于交互意图Ix，Ix表示如下：Ix=Σi=1nμx(Ci)/Ci,x=1,2,...,n---(9)]]>在感知空间的交互意图集合I中，交互意图之间在时空上存在互斥关系；根据公式(10)计算用户意图描述因子FIx：FIx=Σi=1nAiμx(Ci),i=1,2,...,n---(10);]]>所述建立显隐信息融合的隐式交互行为模型，完成交互任务包括：S1.实时检测智能电视功能状态上下文、用户显式行为信息；S2.获得动态上下文数据，根据多层次动态上下文模型，进行数据融合与特征提取，并检测低层上下文事件的状态；S3.检测与识别T时刻动态手势的类型，根据动态手势类型识别算法，获得T时刻用户的动态手势类型ID和key值；S4.初始化交互概念集合C，根据低层上下文事件的状态，设置交互概念集合C中U、S中各交互概念节点的初始值，检测到的状态事件对应的交互概念节点值置为1，否则为0；集合E，A中各交互概念节点初始值设置为0；S5.根据邻接矩阵W和公式(5)获得交互概念集合C在收敛状态下的交互概念节点值；S6.根据公式(9)与(10)计算交互意图集合中交互意图Ix(x＝1,2,…,n)的交互意图描述因子FIx的状态值；与意图描述因子集合FI中对应交互意图的交互因子比较，若FIx＝FIconvergence，则激活交互意图Ix对应的交互情景事件和交互操作，否则返回S1；S7.将T时刻激活的交互情景事件对应的功能菜单显示在智能电视界面最顶层，且计算机执行用户交互意图对应的交互操作；S8.检测T+1时刻用户行为，若检测到用户手势动作，根据DGRA算法获得T+1时刻的用户动态手势类型ID和key值，然后执行S9；否则，智能电视保持当前的功能状态，并循环执行S8；S9.计算T+1时刻向量DGDM，计算交互任务特征向量TI，若TI＝TIx，x＝1,2,…,6，则计算机根据交互任务TIx完成对应的功能操作。