[发明专利]特定会话场景下的计算机辅助手语交流方法

说明书

技术领域

本发明属于图像生物特征识别技术领域，涉及一种特定会话场景下的计算机辅助手语交流方法。

背景技术

现实生活中，正常人既可以获得视觉信息也可以获得听觉信息，聋哑人则只能利用视觉信息。正常人与聋哑人通常以手语作为媒介进行交流，但绝大多数正常人对手语知之甚少，根本无法与聋哑人进行会话，使得正常人与聋哑人之间存在难以克服的交流障碍。

发明内容

本发明的目的是提供一种特定会话场景下的计算机辅助手语交流方法，用于词汇量有限的特定场景下，辅助正常人与聋哑人进行会话交流。

本发明所采用的技术方案是，特定会话场景下的计算机辅助手语交流方法，建立词汇数据库和虚拟人手语动作的对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，并将该含义告知正常人，反之，获得正常人输入的文字信息，或者在获得的识别到聋哑人打出手语的含义之后，在词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语的方式告知聋哑人，实现特定场合下正常人与聋哑人的会话交流，该方法按以下步骤进行：

步骤1：在计算机中建立特定会话场景下所用的词汇数据库；

步骤2：采用计算机图形学的方法构造三维动画虚拟人，并建立该三维动画虚拟人的骨骼关节模型；

步骤3：构建步骤1建立的词汇数据库中的词汇与步骤2构造的三维动画虚拟人表征的手语动作之间的对应关系；

步骤4：正常人和聋哑人通过步骤2建立的虚拟人和步骤1建立的词汇数据库，以步骤3建立的对应关系为基础进行会话交流，

聋哑人打出的手语转换为文字或语言的具体步骤：

1)、通过摄像头采集聋哑人打出的手语图像信息，并将该手语图像信息输入计算机；

2)、将步骤1)步中采集到的手语图像信息，通过训练获得无目标背景，采用背景差分法，检测出该背景中包括手部区域在内的运动目标，并通过手部区别于其它部位的颜色和形态，分割出手部区域，采用数字视频关键帧提取方法，提取该手部区域的关键帧，然后，通过提取不同手势的特征差异，识别出该关键帧中的静态手势；

3)、将步骤2)中识别出的静态手势序列构成动态手势，并采用包括隐马尔科夫模型的随机过程描述法或神经元网络法结合模式识别法对该动态手势予以识别，获得动态手势所包含的含义；

4)、将步骤3)中识别出的动态手势的含义转换为正常人能够理解的文字或语言；

将正常人输入的文字转换为手语部分的具体步骤如下：

a)、通过文字输入装置输入文字信息，或者在获得识别到的聋哑人手语的含义之后，在专用词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句传入计算机；

b)、将步骤a)步中获得的信息进行处理，形成步骤1建立的词汇数据库中的专用词汇，将该专用词汇通过步骤3构建的对应关系形成相应的手语动作；

c)、将步骤b)步中形成的手语动作通过步骤2构造的三维动画虚拟人予以显示。

本发明的特征还在于，

其中步骤2)中关键帧的提取采用等间隔关键帧提取法，该提取法中间隔L通过以下公式计算得到：

L=VideoNumCodeNum---(1-1)]]>

式中，VideoNum为视频的总帧数，CodeNum为码字数。

其中，步骤2)中采用基于多级弦长函数的实现对不同静态手势的识别。

其中，傅立叶描述子方法中计算一个手形的傅立叶描述子的公式如下：