[发明专利]多模态语言信息人工智能翻译方法、系统和设备

权利要求书

1.一种多模态语言信息人工智能翻译方法，包括：多个用户通过服务器建立通信群或者两个用户通过服务器进行通信，其特征在于，服务器根据用户的选择通过人工智能模块进行多模态语言翻译，将存储于存储器的第一用户的留言语言模态转换为第二用户所选择的语言模态而后通过语音模块转换为声音和/或通过显示模块转换为文字和/或手语视频，人工智能模块至少包括识别模块，所述识别模块通过包括使用卷积神经网络的图像识别装置进行图像识别，其通过如下步骤实现，根据输入的图像生成分辨率随着从第1级向第N级而变低的特征图，使用第N级特征图生成第一特征图；检测上述图像中拍摄的用于表达手语的人物，获取人物在所述第一特征图上的位置信息；校正所述位置信息，使得位置信息对应于第二特征图的分辨率，第二特征图是在第N级之前生成的特征图上的包含人物图像的区域范围；在所述第一特征图上设置位于由校正后的位置信息表示的位置的关注区域，从所述关注区域中提取人物与表达手语有关的特征的特征信息。

2.根据权利要求1所述的方法，其特征在于，还包括将各模态语言的单词进行编码生成各语种单词文字-词音-手语图像-编码表并存储于语料库中，不同模态同一词义的单词文本、词音和手语图像-对应相同的编码。

3.根据权利要求2所述的方法，其特征在于，服务器通过识别模块识别第一用户所存储的语言的模态并分成多个单词；通过编码单元对单词根据单词文字-词音-手语图像-编码表进行编码生成码串；根据第二用户所选择的语言模态，通过模型单元查找单词-词音-手语图像-编码表，对码串进行解码将第一用户所存储的语言模态转换为第二用户所选择的语言模态。

4.根据权利要求1-3任一所述的方法，其特征在于，语言模态包括多语种及其文字、语音、方言和手语图像。

5.一种多模态语言信息人工智能翻译系统，包括：多个用户端及服务器，多个用户通过服务器建立通信群或者两个用户通过服务器进行通信，其特征在于，服务器包括人工智能模块，其根据用户的选择进行多模态语言翻译，将存储于存储器的第一用户的多模态留言转换为第二用户所选择的语言模态而后通过语音模块转换为声音和/或通过显示模块转换为文字和/或手语视频，人工智能模块至少包括识别模块，识别模块识别第一用户所存储的语言的模态并进行识别形成多个单词，所述识别模块至少包括使用卷积神经网络的图像识别装置，所述图像识别装置至少包括：生成单元、获取单元、校正单元和提取单元，其中，生成单元根据输入的图像生成分辨率随着从第1级向第N级而变低的特征图，使用第N级特征图生成第一特征图；获取单元，检测上述图像中拍摄的用于表达手语的人物，获取人物在所述第一特征图上的位置信息；校正单元，其校正所述位置信息，使得位置信息对应于第二特征图的分辨率，第二特征图是在第N级之前生成的特征图上的包含人物图像的区域范围；提取单元，用于在所述第一特征图上设置位于由校正后的位置信息表示的位置的关注区域，从所述关注区域中提取人物与表达手语有关的特征的特征信息。

6.根据权利要求5所述的系统，其特征在于，服务器还包括语料库，各语种单词文字-词音-手语图像-编码表并存储于语料库中，不同模态同一词义的单词文本、词音和手语图像-对应相同的编码。

7.根据权利要求6所述的系统，其特征在于，人工智能模块还包括编码单元和模型单元，编码单元对识别单元所识别的单词根据单词文字-词音-手语图像-编码表进行编码生成码串；模型单元根据第二用户所选择的语言模态查找单词-词音-手语图像-编码表，对码串进行解码将第一用户所存储的语言模态转换为第二用户所选择的语言模态。

8.根据权利要求5-6任一所述的系统，其特征在于，语言模态包括多语种及其文字、语音、方言和手语图像。

9.一种设备，其包括处理器和存储器，其特征在于，将权利要求1-4任一所述的方法利用计算机语言编成处理器可执行的源程序代码，并能够存储于存储器中，处理器调用并执行源程序代码，以实现多模态语言翻译。