[发明专利]特定会话场景下的计算机辅助手语交流方法

摘要

本发明公开的一种特定会话场景下的计算机辅助手语交流方法，通过建立虚拟人骨骼模型和特定会话场景词汇数据库，设定该骨骼模型各关节的运动自由度范围，并建立虚拟人各关节动作与专用词汇的交流应答对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，将聋哑人打出的手语转换为文字或语言告知正常人，反之，获得正常人输入的文字信息，或者在获得识别到的聋哑人打出手语的含义之后，自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语转换为手语告知聋哑人，实现特定场合下正常人与聋哑人的会话交流。通过本发明方法可实现特定场合下正常人与聋哑人之间的交流。

主权项

1.一种特定会话场景下的计算机辅助手语交流方法，建立词汇数据库和虚拟人手语动作的对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，并将该含义告知正常人，反之，获得正常人输入的文字信息，或者在获得的识别到聋哑人打出手语的含义之后，在词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语的方式告知聋哑人，实现特定场合下正常人与聋哑人的会话交流，其特征在于，该方法按以下步骤进行：步骤1：在计算机中建立特定会话场景下所用的词汇数据库；步骤2：采用计算机图形学的方法构造三维动画虚拟人，并建立该三维动画虚拟人的骨骼关节模型；步骤3：构建步骤1建立的词汇数据库中的词汇与步骤2构造的三维动画虚拟人表征的手语动作之间的对应关系；步骤4：正常人和聋哑人通过步骤2建立的虚拟人和步骤1建立的词汇数据库，以步骤3建立的对应关系为基础进行会话交流，聋哑人打出的手语转换为文字或语言的具体步骤：1)、通过摄像头采集聋哑人打出的手语图像信息，并将该手语图像信息输入计算机；2)、将步骤1)步中采集到的手语图像信息，通过训练获得无目标背景，采用背景差分法，检测出该背景中包括手部区域在内的运动目标，并通过手部区别于其它部位的颜色和形态，分割出手部区域，采用数字视频关键帧提取方法，提取该手部区域的关键帧，然后，通过提取不同手势的特征差异，识别出该关键帧中的静态手势；3)、将步骤2)中识别出的静态手势序列构成动态手势，并采用包括隐马尔科夫模型的随机过程描述法或神经元网络法结合模式识别法对该动态手势予以识别，获得动态手势所包含的含义；4)、将步骤3)中识别出的动态手势的含义转换为正常人能够理解的文字或语言；将正常人输入的文字转换为手语部分的具体步骤如下：a)、通过文字输入装置输入文字信息，或者在获得识别到的聋哑人手语的含义之后，在专用词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句传入计算机；b)、将步骤a)步中获得的信息进行处理，形成步骤1建立的词汇数据库中的专用词汇，将该专用词汇通过步骤3构建的对应关系形成相应的手语动作；c)、将步骤b)步中形成的手语动作通过步骤2构造的三维动画虚拟人予以显示。