[发明专利]多模态语言信息人工智能翻译方法、系统和设备

说明书

一种多模态语言信息人工智能翻译方法、系统和设备，方法包括：多个用户至少通过服务器建立通信群，服务器根据用户的选择通过人工智能模块进行多模态语言翻译，将存储于存储器的第一用户的留言语言模态转换为第二用户所选择的语言模态而后通过用户终端的语音模块转换为声音和/或通过显示模块转换为文字和/或手语视频。本发明提供的多模态语言信息人工智能翻译方法、系统和设备，其能够将留言用户所使用的各种语言信息模态翻译为接听用户所能理解的语言信息模态，使交流非常方便。

技术领域

本发明涉及一种多模态语言信息人智能工翻译方法、系统和设备，属于数据处理技术领域。

背景技术

现今社会,人们通过建立通信群而进行交流，如人们通过微信、QQ进行文字、图像和声音的交流。但是这些通信群只对视力、听力和发音正常的人来说是非常方便，而现实生活中存在如下情况：在某些场合某些用户不适合接收给其发送的信息的语言模态，需要转换成另一种形式；对听力有障碍的人来说，根本不能听声音；对视力有障碍人来说，根本不能不能看视频；对聋哑人来说,既不能听声音也不能发语音,其只能用手语进行交流,因此,需要一种工具,将手语、方字和语音彼此进行相互转换，以促使残疾人之间，残疾人和正常人交流畅通。

发明内容

本发明公开一种多模态语言信息人智能工翻译方法、系统和设备，其能够将留言用户所使用的各种模态的语言信息翻译为接听用户所能理解的模态语言信息，使交流非常方便。

为实现所述发明目的，一种多模态语言信息人工智能翻译方法，包括：多个用户至少通过服务器建立通信群，其特征在于，服务器根据用户的选择通过人工智能模块进行多模态语言翻译，将存储于服务器的第一用户的留言模态转换为第二用户所选择的语言模态而后通过语音模块转换为声音和/或通过显示模块转换为文字和/或手语视频，人工智能模块至少包括识别模块，所述识别模块通过包括使用卷积神经网络的图像识别装置进行图像识别，其通过如下步骤实现，根据输入的图像生成分辨率随着从第1级向第N级而变低的特征图，使用第N级特征图生成第一特征图；检测上述图像中拍摄的用于表达手语的人物，获取人物在所述第一特征图上的位置信息；校正所述位置信息，使得位置信息对应于第二特征图的分辨率，第二特征图是在第N级之前生成的特征图上的包含人物图像的区域范围；在所述第一特征图上设置位于由校正后的位置信息表示的位置的关注区域，从所述关注区域中提取人物与表达手语有关的特征的特征信息。

为实现所述发明目的，本发明还提供一种多模态语言信息人工智能翻译系统，包括：多个用户端及服务器，多个用户端通过服务器建立通信群，其特征在于，服务器包括人工智能模块，其根据用户的选择进行多模态语言翻译，将存储于服务器的第一用户的多模态留言转换为第二用户所选择的语言模态而后通过语音模块转换为声音和/或通过显示模块转换为文字和/或手语视频，人工智能模块至少包括识别模块，识别模块识别第一用户所存储的语言的模态并进行识别形成多个单词，所述识别模块至少包括使用卷积神经网络的图像识别装置，所述图像识别装置至少包括：生成单元、获取单元、校正单元和提取单元，其中，生成单元根据输入的图像生成分辨率随着从第1级向第N级而变低的特征图，使用第N级特征图生成第一特征图；获取单元，检测上述图像中拍摄的用于表达手语的人物，获取人物在所述第一特征图上的位置信息；校正单元，其校正所述位置信息，使得位置信息对应于第二特征图的分辨率，第二特征图是在第N级之前生成的特征图上的包含人物图像的区域范围；提取单元，用于在所述第一特征图上设置位于由校正后的位置信息表示的位置的关注区域，从所述关注区域中提取人物与表达手语有关的特征的特征信息。

优选地，服务器还包括语料库，各语种单词文字-词音-手语图像-编码表并存储于语料库中，不同模态同一词义的单词文本、词音和手语图像-对应相同的编码。

优选地，人工智能模块还包括编码单元和模型单元，编码单元对识别单元所识别的单词根据单词文字-词音-手语图像-编码表进行编码生成码串；模型单元根据第二用户所选择的语言模态查找单词-词音-手语图像-编码表，对码串进行解码将第一用户所存储的语言模态转换为第二用户所选择的语言模态。