[发明专利]图像翻译方法、装置及存储介质

说明书

本公开是关于一种图像翻译方法、装置及存储介质。图像翻译方法包括：从待翻译图像中裁剪出包含第一语言文字的至少一个局部图像；将所述至少一个局部图像输入图像翻译模型，从所述图像翻译模型输出与每一个局部图像对应的翻译文本，所述翻译文本中包括与所述第一语言文字具有相同语义的第二语言文字。通过本公开，避免了级联式图像翻译中，OCR将图像中的文字识别为文本内容时，由于OCR识别的误差，影响翻译引擎的翻译质量的问题。

技术领域

本公开涉及图像处理领域，尤其涉及图像翻译方法、装置及存储介质。

背景技术

图像翻译即是对图像中的文字翻译成目标语言并展示给用户。图像翻译应用的场景多种多样，比如可以内置到各种终端的应用程序中，也可以嵌入到翻译机中。

目前的图像翻译通常使用级联式的翻译方法实现,该方法通过光学字符识别(Optical Character Recognition，OCR)技术将图像上的文字识别为文本内容,再通过翻译引擎将经过OCR得到的文本内容翻译成目标语言的文本内容。

但是，通过级联式的翻译方法对图像翻译时，对OCR识别图像中文字的准确度要求很高，一旦OCR识别到的文本内容有误差，就会影响翻译引擎的翻译质量。

故，通过级联式的翻译方法对图像翻译时，存在误差传导的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像翻译方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种图形翻译方法，包括：从待翻译图像中裁剪出包含第一语言文字的至少一个局部图像；将至少一个局部图像输入图像翻译模型，从图像翻译模型输出与每一个局部图像对应的翻译文本，翻译文本中包括与第一语言文字具有相同语义的第二语言文字。

在一示例中，图像翻译模型包括卷积神经子网络和翻译子网络；将至少一个局部图像输入图像翻译模型，从图像翻译模型输出与每一个局部图像对应的翻译文本，包括：基于卷积神经子网络提取至少一个局部图像的图像特征向量；对提取到的特征向量进行序列化处理，得到序列化图像特征向量；基于翻译子网络对序列化图像特征向量进行识别，得到包含第二语言文字的翻译文本。

在一示例中，图像翻译方法还包括：基于图像翻译样本集预先训练得到图像翻译模型；其中，图像翻译样本集包括多对训练样本，多对训练样本中的每一对训练样本包括图像样本以及与图像样本对应的文本样本，图像样本中包含第一语言文字，文本样本中包含与第一语言文字具有相同语义的第二语言文字。

在一示例中，图像翻译方法还包括：基于双语文本样本集预先训练得到图像翻译样本集。

在一示例中，基于双语文本样本集预先训练得到图像翻译样本集，包括：确定双语文本样本集，双语文本样本集包括多对文本训练样本，多对文本训练样本中的每一对文本训练样本包括第一语言文本样本，以及与第一语言文本样本具有相同语义的第二语言文本样本；将双语文本样本集中的第一语言文本样本转换为包含第一语言文字的图像样本；将图像样本与第二语言文本样本关联，得到图像翻译样本集。

在一示例中，基于图像翻译样本集预先训练得到图像翻译模型，包括：通过神经子网络提取图像翻译样本集中的多对图像样本的特征向量；通过翻译子网络对特征向量进行预测，得到包含第二语言文字的预测文本；基于损失函数调整卷积神经子网络和翻译子网络的训练参数，得到满足损失值的图像翻译模型；其中，损失函数依据卷积神经子网络训练参数、翻译子网络训练参数、图像翻译样本集中训练样本数量确定。

根据本公开实施例的第二方面，提供一种图像翻译装置，包括：获取单元，被配置为从待翻译图像中裁剪出包含第一语言文字的至少一个局部图像；处理单元，被配置为将至少一个局部图像输入图像翻译模型，从图像翻译模型输出与每一个局部图像对应的翻译文本，翻译文本中包括与第一语言文字具有相同语义的第二语言文字。