[发明专利]基于语义计算的听力或语言障碍人士交流系统及其方法

权利要求书

1.一种基于语义计算的听力或语言障碍人士交流系统，其特征在于，

该系统包括便携式终端和基于云计算的云端服务器两部分。

2.根据权利要求1所述的便携式终端包括至少两个便携式终端，即第

一便携式终端以及第二便携式终端，或两类终端结合的便携式终端。

3.根据权利要求2所述的基于语义计算的听力或语言障碍人士交流系

统，其特征在于，所述第一类便携式终端包括依次相连的语音引擎单元、语义计算引擎单元以及手语语库。

4.根据权利要求2所述的基于语义计算的听力或语言障碍人士交流系

统，其特征在于，所述第二类便携式终端包括依次相连的语音引擎单元、语义计算引擎单元以及手语捕捉引擎单元。

5.根据权利要求2所述的基于语义计算的听力或语言障碍人士交流系

统，其特征在于，所述两类终端结合的便携式终端包括依次相连的语音引擎单元、语义计算引擎单元、手语语库以及手语捕捉引擎单元。

6.根据权利要求3或4或5所述的基于语义计算的听力或语言障碍人

士交流系统，其特征在于，所述的语音引擎单元包括依次连接的音频处理引擎子单元以及语音文本间转换子单元。

7.根据权利要求6所述的基于语义计算的听力或语言障碍人士交流系

统，其特征在于，还包括一个云端服务器，所述云端服务器与所述的相关计算单元连接。

8.一种权利要求1所述的基于语义计算的听力或语言障碍人士交流系

统的方法，其特征在于，包括以下两个个选择步骤：

选择步骤1，基于由第一便携式终端输入语音数据，第二便携式终端输出手语动画，具体方法是：

步骤1.1，音频处理引擎子单元通过第一便携式终端的语音输入单元捕捉到的正常人发音，将其识别后并储存为语音数据；

步骤1.2，语音文本间转换子单元将步骤1中已储存的语音数据转化为文本数据；

步骤1.3，语义计算引擎单元对步骤1.2中的文本数据进行语义分析及计算，将文本数据转化成符合有正确合理语法和逻辑性的手语语言的文本形式，并将文本数据传输给手语语库；

步骤1.4，在手语语库寻找对应的手语动作动画进行组合，将手语动画结果传至结果输出端，由结果输出端传输给第二便携式终端；

选择步骤2，基于由第二便携式终端输入手语动画，第一便携式终端输出语音数据，具体方法是：

步骤2.1，听力或语言障碍人士通过第二便携式终端的摄像头向便携式终端输入手语动作，由手语捕捉引擎单元进行采集；

步骤2.2，手语捕捉引擎单元通过匹配手语语库对步骤2.1中的手语动作进行动作分析，判断出手语动作语言，并转化成文本信息，并将文本数据传输给语义计算引擎单元；

步骤2.3，语义计算引擎单元通过对文本信息的语义计算转化成符合有正确合理语法和逻辑性的自然语言的文本形式，并将文本信息传输给语音文本间转换子单元；

步骤2.4，语音文本间转换子单元将文本信息转换成语音信息，并通过音频处理引擎子单元将语音信息传至结果输出端，由结果输出端传输给第一便携式终端，通过第一便携式终端的音频设备播放出来。

9.根据权利要求8所述的基于语义计算的听力或语言障碍人士交流系

统的方法，其特征在于，所述的选择步骤1.4中，若手语语库无步骤1.3中对应的手语动作动画，则手语捕捉引擎单元通过云端服务器寻找对应的手语动作动画后进行组合，将手语动画结果传至结果输出端，由结果输出端传输给第二便携式终端。

10.根据权利要求8所述的基于语义计算的听力或语言障碍人士交流

系统的方法，其特征在于，所述的选择步骤2.2中，若手语语库无步骤2.1中对应的手语动作动画，则手语捕捉引擎单元通过云端服务器对步骤2.1中的手语动作动画进行动作分析，判断出手语动作语言，并将手语语言传输给语义计算引擎单元。