[发明专利]手语的视觉语义-结构化解析方法

摘要

本发明公开了手语的视觉语义‑结构化解析方法，涉及图像处理技术领域，通过模拟听障人对手语的认知方式，先计算其视野中的视觉显著区域，再将注意力焦点种子集中于手部提高其有效性，将生成的语义超像素作为部分，再把部分映射为手指骨架或将手掌缩为一个关节点，而得到子手语集。按解剖结构拆解手语图像(状态)，实现了对一组相似手语的视觉语义‑结构化解析。这种视觉语义‑结构化解析方法构成了小样本、可解释和可泛化的新生代概率图模型(PGM)机器疾病辨识的重要部分。

主权项

1.手语的视觉语义‑结构化解析方法，其特征在于，所述方法包括以下步骤：步骤1，对手语图像采用视觉选择性注意模型Itti生成相应的手语显著图；步骤2，在所述手语显著图中选取灰度最大的像素作为第1个种子点，依次计算与第1个种子点距离符合种子点距离阈值的第2个种子点，以及与第2个种子点距离符合种子点距离阈值的第3个种子点，直到得到22个种子点，得到的22个种子点构成视觉焦点种子集；步骤3，对所述视觉焦点种子集中的种子点进行优化，得到优化后的视觉焦点种子集；步骤4，将手语图像从RGB颜色空间转换到CIE‑lab颜色空间，每个像素由其颜色值(l,a,b)和坐标(x,y)组成一个5维向量(l,a,b,x,y)，取步骤3得到的22个优化后的视觉焦点种子作为初始种子点，每块超像素的边长为种子点距离阈值，用简单线性迭代聚类计算，进行区域增长，获得手语语义超像素，每个语义超像素均对应辨识函数划分中的一个子手语；步骤5，对所述子手语进行结构性细化，得到细化子手语。