[发明专利]基于语义计算的听力或语言障碍人士交流系统及其方法

说明书

技术领域

本发明涉及一种听力或语言障碍人士交流系统及其方法，尤其是涉及一种基于语义计算的听力或语言障碍人士交流系统及其方法。 

背景技术

听力或语言障碍人士，或耳不能听，或口不能言，不能像正常人一样的交流，导致了他们在工作、学习、娱乐、就医、维权等方面的生活状态的十分混乱。因此，加强正常人与听力或语言障碍人士之间的交流，完成教育，成为解决听力或语言障碍人士社会生活问题的关键所在。 

   众所周知，听力或语言障碍人士教育方面问题较大。而听力或语言障碍儿童在义务教育方面入学率更低。因为听力或语言障碍人士需要进入专业的特殊教育学校，同时一些地方存在着对特殊教育认识不够、特殊教育经费不足、师资素质有待提高，以及大部分农村残疾人家庭经济困难等原因，致使听力或语言障碍人士普遍文化素质较低。懂得手语、能充当手语翻译的教师稀缺，难以对听力或语言障碍群体普及教育。 

发明内容

本发明主要是解决现有技术所存在的目前社会上对听力或语言障碍人士教育普及程度低下、交流困难等的技术问题；提供了一种将正常人所说的话转化为手语的图像显示，实现正常人能够无障碍的传达信息给听力或语言障碍人士，并可以实现将听力或语言障碍人士的手语播放出来，进一步方便了正常人与听力或语言障碍人士的交流的基于语义计算的听力或语言障碍人士交流系统及其方法。 

本发明的上述技术问题主要是通过下述技术方案得以解决的： 

一种基于语义计算的听力或语言障碍人士交流系统，其特征在于，该系统包括便携式终端和基于云计算的云端服务器两部分。

在上述的基于语义计算的听力或语言障碍人士交流系统，所述的便携式终端包括至少两个便携式终端，即第一便携式终端以及第二便携式终端，或两类终端结合的便携式终端。 

在上述的基于语义计算的听力或语言障碍人士交流系统，所述第一类便携式终端包括依次相连的语音引擎单元、语义计算引擎单元以及手语语库。 

在上述的基于语义计算的听力或语言障碍人士交流系统, 所述的基于语义计算的听力或语言障碍人士交流系统，其特征在于，所述第二类便携式终端包括依次相连的语音引擎单元、语义计算引擎单元以及手语捕捉引擎单元。 

在上述的基于语义计算的听力或语言障碍人士交流系统, 所述的基于语义计算的听力或语言障碍人士交流系统，其特征在于，所述两类终端结合的便携式终端包括依次相连的语音引擎单元、语义计算引擎单元、手语语库以及手语捕捉引擎单元。 

在上述的基于语义计算的听力或语言障碍人士交流系统，所述的语音引擎单元包括依次连接的音频处理引擎子单元以及语音文本间转换子单元。 

在上述的基于语义计算的听力或语言障碍人士交流系统，还包括一个云端服务器，所述云端服务器与相关计算单元连接。 

本发明通过语义计算引擎，捕捉正常人的语句并实现语义计算，根据《中国手语》及其他手语手册标准，将正常人所说的话转化为手语的图像显示，实现正常人能够无障碍的传达信息给听力或语言障碍人士。此外，还可以实现将听力或语言障碍人士的手语“朗读”出来的功能，进一步方便了正常人与听力或语言障碍人士的交流。也就是说，通过本软件能够实现正常人与听力或语言障碍人士双向交流的功能。基于此功能大学教师无障碍的对听力或语言障碍人士学生进行教育，无论实在普通大学或听力或语言障碍人士学校中，都提高了对听力或语言障碍人士教育的力度和普及程度，一定程度上缓解了听力或语言障碍人士教育普及严重不足的现状。 

一种权利要求1所述的基于语义计算的听力或语言障碍人士交流系统的方法，其特征在于，包括以下;两个选择步骤： 

选择步骤1，基于由第一便携式终端输入语音数据，第二便携式终端输出手语动画，具体方法是：

步骤1.1，音频处理引擎子单元通过第一便携式终端的语音输入单元捕捉到的正常人发音，将其识别后并储存为语音数据；

步骤1.2，语音文本间转换子单元将步骤1中已储存的语音数据转化为文本数据；

步骤1.3，语义计算引擎单元对步骤1.2中的文本数据进行语义分析及计算，将文本数据转化成符合有正确合理语法和逻辑性的手语语言的文本形式，并将文本数据传输给手语语库；

步骤1.4，在手语语库寻找对应的手语动作动画进行组合，将手语动画结果传至结果输出端，由结果输出端传输给第二便携式终端；

选择步骤2，基于由第二便携式终端输入手语动画，第一便携式终端输出语音数据，具体方法是：