[发明专利]一种面向智能电视的隐式交互方法

摘要

本发明提供了一种面向智能电视的隐式交互方法，属于智能电器领域。所述方法包括：实时获取用户体态行为信息,检测用户位置，并检测与识别用户手势动作；同时检测智能电视的功能状态信息，获得低层次的显式交互信息；将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息；将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务。

主权项

1.一种面向智能电视的隐式交互方法，其特征在于：所述方法包括：实时获取用户体态行为信息,检测用户位置，并检测与识别用户手势动作；同时检测智能电视的功能状态信息，获得低层次的显式交互信息；将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息；将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务；所述用户位置是指用户相对智能电视上摄像头的水平距离、角度，检测用户位置具体如下：通过Kinect获取人体主要关节点的三维坐标数据，根据人体头部节点和人体重心坐标信息，确定人体相对智能电视的位置；所述检测与识别用户手势动作包括用户手部静态行为的识别和用户手部动态行为的识别，具体如下：基于Kinect实现手势部位的检测与分割，通过OpenNI SDK获取人手质心坐标，在人手坐标领域内的三维空间提取出手的部位，再使用肤色模型分割方法对获取的人手部位进行处理，得到初步的人手图像，对初步的人手图像进行去噪、膨胀、腐蚀处理，得到最终的人手图像；采用HCDF‑H算法进行用户手部静态行为的识别；进行用户手部动态行为的识别；所述采用HCDF‑H算法进行用户手部静态行为的识别具体如下：首先标准化手势图像为32*32尺寸，即32*32个像素，并计算手势重心点到手势最远点作为主方向向量，沿主方向将手势图像分为8个子区域，求出子区域像素点数量，生成手势坐标点分布特征向量，再使用类‑Hausdorff距离与手势模板库中每种手势的对比，得出最终识别结果；所述用户手部动态行为的识别包括：Step1.输入手势图像帧，空间人手三维质心坐标，初始化动态手势类型特征向量DGT，其中，DGT＝(ID,posture，Gesture_start,Gesture_end,orientation,length)   (4)Orientation可用公式(1)中Ori描述：其中，在坐标系XOY面上根据S和E计算向量SE与X轴夹角的正切值,根据正切值的绝对值判断出手势运动方向；上下方向根据两坐标点Y轴坐标差值的正负判断具体方向,左右方向根据两坐标点X轴坐标差值判断具体方向；Z轴方向手势水平位移阈值绝对值为Zo；公式(4)中：ID是动态手势的唯一标志；posture表示手势动作的显式语义信息；Gesture_start表示触发动态手势的预定义静态手势；Gesture_end表示结束动态手势的预定义静态手势；orientation描述手势在三维空间中的相对运动方向；length为动态手势从开始到结束的图像总帧数,用来描述动态手势的持续时间；公式(1)、(2)、(3)中：以触发动态手势的静态手势质心点S为坐标原点建立坐标系,E为静态手势质心点；θ表示向量SE与X轴的夹角.S.x，E.x，E.y，S.y，S.z,E.z表示向量SE在x轴、y轴和z轴方向的坐标值，fo为间接变量；Step2.根据手势质心坐标，以每连续T帧图像计算一次连续T帧图像的静态手势运动距离d，并以连续T帧图像更新一次d；Step3.若d20，根据触发动态手势的静态手势质心点S、结束动态手势的静态手势质心点E的坐标值，判断动态手势运动方向，否则，再次判断d，若d>D执行step9，否则返回step8；Step9.判断动态手势类型，求出对应手势ID，并修改对应动态手势ID的key值为1，表示动态手势ID识别成功，输出动态手势类别ID和与ID对应的key值；Step10.DGT恢复初始化；所述建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息是这样实现的：将交互概念节点分为四类：用户行为交互概念节点、设备环境上下文状态信息交互概念节点、交互情景事件节点、激发操作语义的交互概念节点集合；交互概念节点集合C表示多层次动态上下文推理模型的节点集合，C＝(U,S,E,A)，其中U为用户行为交互概念节点集合，S为设备环境上下文状态信息交互概念节点集合，E为交互情景事件节点集合，A为激发操作语义的交互概念节点集合；集合U、S是已知状态参量，E、A是未知参量；初始状态时，根据当前时刻检测到的初始状态值决定U、S中各个节点的概念值，若检测到事件发生，则与之对应的交互概念节点值设置为1，否则为0；E、A中各个概念节点值初始化为0；当多层次动态上下文推理模型收敛到一个稳定状态时，获得稳定状态下各交互概念节点的值，基于多层次动态上下文推理模型的上下文推理计算过程如下式：其中，是交互概念C_i在t+1时刻的状态值；是交互概念C_j在t时刻的值，W_ij是C_i和Cj的权重，表示相关节点间的因果联系强度，根据交互节点之间边的权值得到CDL‑DFCM的邻接矩阵W，CDL‑DFCM为基于DFCM的多层次动态上下文推理模型，W＝{W₁₁，W₁₂，…W_nn}，f表示阈值函数，其作用是将交互概念的值映射到[0,1]区间，将W反复作用于该矢量，该矢量是指交互概念节点集合C，C达到稳定的收敛状态，即(7)式中，表示W_ij第t+1次迭代的权值，λ表示学习率因子，λ＝0.1，表示交互概念节点Cx的值在第t+1次迭代的变化量，表示节点Cx在第t次的迭代值；交互概念集合C映射到感知空间上的交互意图集合I，I＝(I1，I2，…In)；对C上任意交互意图Ix，其隶属函数μx(Ci)，i＝1,2,…,n，其中Ci表示交互概念空间C中的第i个交互概念节点，μx(Ci)在区间[0,1]中取值，μx(Ci)的值反映Ci隶属于Ix的隶属程度，值为0表示Ci不属于交互意图Ix，Ix表示如下：在感知空间的交互意图集合I中，交互意图之间在时空上存在互斥关系；根据公式(10)计算用户意图描述因子FIx：所述建立显隐信息融合的隐式交互行为模型，完成交互任务包括：S1.实时检测智能电视功能状态上下文、用户显式行为信息，用户显式行为信息是指与智能电视交互的唯一用户的人体行为信息，包括用户位置检测、用户手部静态与动态行为的检测与识别；S2.获得动态上下文数据，根据多层次动态上下文模型，进行数据融合与特征提取，并检测低层上下文事件的状态；S3.检测与识别T时刻动态手势的类型，根据动态手势类型识别算法，获得T时刻用户的动态手势类型ID和key值；S4.初始化交互概念集合C，根据低层上下文事件的状态，设置交互概念集合C中U、S中各交互概念节点的初始值，检测到的状态事件对应的交互概念节点值置为1，否则为0；集合E，A中各交互概念节点初始值设置为0；S5.根据邻接矩阵W和公式(5)获得交互概念集合C在收敛状态下的交互概念节点值；S6.根据公式(9)与(10)计算交互意图集合中交互意图Ix(x＝1,2,…,n)的交互意图描述因子FIx的状态值；与意图描述因子集合FI中对应交互意图的交互因子比较，若FIx＝FIconvergence，则激活交互意图Ix对应的交互情景事件和交互操作，否则返回S1；S7.将T时刻激活的交互情景事件对应的功能菜单显示在智能电视界面最顶层，且计算机执行用户交互意图对应的交互操作；S8.检测T+1时刻用户行为，若检测到用户手势动作，根据DGRA算法获得T+1时刻的用户动态手势类型ID和key值，然后执行S9；否则，智能电视保持当前的功能状态，并循环执行S8；S9.计算T+1时刻向量DGDM，计算交互任务特征向量TI，若TI＝TIx，x＝1,2,…,6，则计算机根据交互任务TIx完成对应的功能操作。