[发明专利]手语的视觉语义-结构化解析方法

权利要求书

1.手语的视觉语义-结构化解析方法，其特征在于，所述方法包括以下步骤：

步骤1，对手语图像采用视觉选择性注意模型Itti生成相应的手语显著图；

步骤2，在所述手语显著图中选取灰度最大的像素作为第1个种子点，依次计算与第1个种子点距离符合种子点距离阈值的第2个种子点，以及与第2个种子点距离符合种子点距离阈值的第3个种子点，直到得到22个种子点，得到的22个种子点构成视觉焦点种子集；

步骤3，对所述视觉焦点种子集中的种子点进行优化，得到优化后的视觉焦点种子集，步骤3中对视觉焦点种子集进行优化的方法为：求手语显著图S的平均显著度计算手语显著图中所有像素按灰度值从大到小排序的集合S’中大于的像素数T’；在集合S’中从1至T’按间隔T′/22依次获取视觉焦点种子seed(i)；

步骤4，将手语图像从RGB颜色空间转换到CIE-lab颜色空间，每个像素由其颜色值(l,a,b)和坐标(x,y)组成一个5维向量(l,a,b,x,y)，取步骤3得到的22个优化后的视觉焦点种子作为初始种子点，每块超像素的边长为种子点距离阈值，用简单线性迭代聚类计算，进行区域增长，获得手语语义超像素，每个语义超像素均对应辨识函数划分中的一个子手语；

步骤5，对所述子手语进行结构性细化，得到细化子手语。

2.如权利要求1所述的手语的视觉语义-结构化解析方法，其特征在于，步骤1包括：

用c∈{2,3,4}代表中心信息尺度，s＝c+δ，δ∈{3,4}，代表周边背景信息的图像尺度，表示亮度，表示颜色，表示方向：

其中，I＝(r+g+b)/3，I(c,s)＝|I(c)ΘI(s)|，r,g,b分别表示图像红、绿、蓝三个通道的值，表示将每张图缩到尺度4后点对点相加，Θ表示通过将代表周边背景信息的较小尺度的图像进行线性插值，使之与代表中心信息的较大尺度的图像具有相同大小，然后进行点对点的减操作，即中央周边差操作；

其中，R＝r-(g+b)/2，G＝g-(r+b)/2，B＝b-(r+g)/2，Y＝(r+g)/2-|r-g|/2-b，RG(c,s)＝|(R(c)-G(c))Θ(G(s)-R(s))，BY(c,s)＝|(B(c)-Y(c))Θ(Y(s)-B(s))，

其中，采用方向Gabor金字塔O(σ,θ)得到局部方向信息，其中σ∈[0,8]表示尺度，θ∈{0°,45°,90°,135°}表示方向，方向特征图为O(c,s,θ)＝|O(c,θ)ΘO(s,θ)|，经过归一化后，求和得到手语显著图S：

3.如权利要求1所述的手语的视觉语义-结构化解析方法，其特征在于，步骤5中所述细化子手语表示为T_hⁱ：

其中skel(sp_i)是细化后的表达语义的骨骼像素，其中，sp＝{sp_i|i＝1，...，22}是去除背景的语义超像素集合，手语语义ψ的手语图像中，食指和中指细化的单像素表示骨骼，而其它手指和手掌的共同区域被简化为f_palm，V′＝{v′∈S′，i＝1，...，22}为优化后的视觉焦点种子集，其中v′_i指的是优化后的视觉焦点种子集中的种子点，，得到结构性细化的结果后，利用归一化函数N′(H，rect(sp))将超像素sp缩放到与手的解剖结构大小一致，其中rect(sp)＝minArearect(sp)，表示sp的最小外接矩形，H为手的解剖结构定义为H＝{f，z}_{belimitedby{C，R}}，f为节点集合，z为骨节集合，C和R分别为从解剖学定义上对z_ij之间的连接关系和旋转角度的限制，其中Z_ij指的是基元。