[发明专利]手语的视觉语义-结构化解析方法

说明书

本发明公开了手语的视觉语义‑结构化解析方法，涉及图像处理技术领域，通过模拟听障人对手语的认知方式，先计算其视野中的视觉显著区域，再将注意力焦点种子集中于手部提高其有效性，将生成的语义超像素作为部分，再把部分映射为手指骨架或将手掌缩为一个关节点，而得到子手语集。按解剖结构拆解手语图像(状态)，实现了对一组相似手语的视觉语义‑结构化解析。这种视觉语义‑结构化解析方法构成了小样本、可解释和可泛化的新生代概率图模型(PGM)机器疾病辨识的重要部分。

技术领域

本发明涉及图像处理技术领域，特别是涉及手语的视觉语义-结构化解析方法。

背景技术

手语是一种特殊的具有空间结构的图形化语言，以具有解剖结构的手为载体，兼具了视觉显著性和结构化组成的特点。聋人听力受损而视觉正常，具备人眼的视觉特性，即在看到视野中的图像时，首先关注重点区域，即视觉显著性。当手语以图像的形式呈现在聋人的视野中时，即当聋人看到手语图像时，并不是一次直接关注整个手形，而是有侧重点的关注手的不同区域(手语显著性区域)，这些不同的显著性区域从视觉上直观地将一个手语手势分解成了多个不同的部分。

目前，手语分析研究的方法都是非结构化的整体描述，即针对一幅完整的手语图像提取其图像表观特征，如局部描述子、骨骼、曲率、纹理等。这需要对每幅手语图像都分别计算其各项特征，即使两个手语非常相似(如f和g的手形只相差一根手指)也必须分别计算而不能重复使用已计算过的同一手部区域。这种方法存在需要大样本学习、个体表现生物差异严重影响分析结果等问题。

采用结构化描述方法就可以解决上述问题，采用结构化描述手语可以通过反复使用某些相同的手部区域(如一根食指或一个骨节)，用较少的特征集(基元)通过组合各个部分描述更多的手语手势。也就是说，存在相对较少数量的基元库，通过基元的复用来生成更多的手语整体结构和语义图像。

发明内容

本发明实施例提供了手语的视觉语义-结构化解析方法，可以解决现有技术中的问题。

本发明提供了手语的视觉语义-结构化解析方法，所述方法包括以下步骤：

步骤1，对手语图像采用视觉选择性注意模型Itti生成相应的手语显著图；

步骤2，在所述手语显著图中选取灰度最大的像素作为第1个种子点，依次计算与第1个种子点距离符合种子点距离阈值的第2个种子点，以及与第2 个种子点距离符合种子点距离阈值的第3个种子点，直到得到22个种子点，得到的22个种子点构成视觉焦点种子集；

步骤3，对所述视觉焦点种子集中的种子点进行优化，得到优化后的视觉焦点种子集；

步骤4，将手语图像从RGB颜色空间转换到CIE-lab颜色空间，每个像素由其颜色值(l,a,b)和坐标(x,y)组成一个5维向量(l,a,b,x,y)，取步骤3得到的22 个优化后的视觉焦点种子作为初始种子点，每块超像素的边长为种子点距离阈值，用简单线性迭代聚类计算，进行区域增长，获得手语语义超像素，每个语义超像素均对应辨识函数划分中的一个子手语；

步骤5，对所述子手语进行结构性细化，得到细化子手语。

本发明实施例中的手语的视觉语义-结构化解析方法，将解剖结构引入小样本、可解释和可泛化的新生代概率图模型(PGM)研究中，从聋人的学习途径 -视觉入手，查找出现在视野范围中手语的显著区域，将优化视觉焦点种子后，通过区域增长获得的语义超像素作为子手语，以手的解剖结构和标准的手语结构化描述为依据，对手语进行结构化解析，实现相同子手语在不同手语词中的重组和复用，为后续进一步提取手语基元、创建基元库、实现手语基元结构重组生成手语、拟人智能化手语识别的研究奠定了基础。

附图说明