[发明专利]一种用于辅助视觉障碍者理解图片的方法及装置

说明书

一种用于辅助视觉障碍者理解图片的方法和装置，该方法将待理解的图片对象输入到图片理解模型；通过图片内容特征提取网络对待理解的图片对象的内容进行特征编码，对图片对象上的显著性目标进行特征提取；通过图片内容生成网络接收图片内容特征提取网络提取的图片对象内容的特征编码，采用图片内容生成网络对图片对象内容的特征编码进行解码，生成描述图片对象的文本信息；将图片内容生成网络生成的描述图片对象的文本信息输送到语音合成模型，通过语音合成模型获得描述图片对象的语音结果；将语音合成模型生成的描述图片对象的语音结果反馈给用户。本发明可以有效提取图片关键内容，方便视觉障碍者获取浏览图片对象的内容信息。

技术领域

本发明属于图片处理技术领域，具体涉及一种用于辅助视觉障碍者理解图片的方法及装置。

背景技术

视觉障碍也称为视觉障碍“视力残疾”、“视觉缺陷”、“视力损伤”等。是指视觉器官(包括眼睛、眼神经)和大脑视神经中枢的结构或功能部分或全部障碍，表现为不同程度的视力损失或视力缩小，难以做普通人可以从事工作、学习或其他活动，以限制或阻碍其年龄、性别、社会和文化条件的正常作用。视觉障碍者难以看到显示屏幕上的文本或图像，执行眼睛和手(如移动计算机鼠标)的任务。

对于视觉障碍者而言，在使用电子设备时，需要进行辅助，以使用手机为例，当打开旁白后，手机会按照触摸区块来朗读手指碰触区域范围内的内容；同时操作从轻点和滑动换成轻点朗读触摸区域，双击，长按来负责交互。但是，由于图片内容的丰富性，在缺少对图片内容的文字描述的前提下，如何使视觉障碍者理解展示的图片内容获取图片信息是亟待解决的技术问题。

发明内容

为此，本发明提供一种用于辅助视觉障碍者理解图片的方法及装置，能够协助视觉障碍者更好的浏览图片和理解图片内容，解决视觉障碍者无法充分获取图片信息的问题。

为了实现上述目的，本发明提供如下技术方案：一种用于辅助视觉障碍者理解图片的方法，包括以下步骤：

(1)获取用户上传的待理解图片对象，将待理解的图片对象输入到图片理解模型，所述图片理解模型包括图片内容特征提取网络和图片内容生成网络；

(2)通过所述图片内容特征提取网络对待理解的图片对象的内容进行特征编码，对图片对象上的显著性目标进行特征提取；

(3)通过所述图片内容生成网络接收所述图片内容特征提取网络提取的图片对象内容的特征编码，采用所述图片内容生成网络对图片对象内容的特征编码进行解码，生成描述图片对象的文本信息；

(4)将所述图片内容生成网络生成的描述图片对象的文本信息输送到语音合成模型，通过所述语音合成模型获得描述图片对象的语音结果；

(5)将所述语音合成模型生成的描述图片对象的语音结果反馈给用户。

作为用于辅助视觉障碍者理解图片的方法的优选方案，步骤(2)中，通过图片对象的通道数、图片对象的高和图片对象的宽对待理解的图片对象进行表示，并将图片对象分割成若干子图块，通过子图块的查询向量和价值向量获得显著性目标的特征向量，对显著性目标的特征向量进行特征编码。

作为用于辅助视觉障碍者理解图片的方法的优选方案，步骤(3)中，将不同时刻的图片对象内容的特征编码先按照从左往右的顺序进行解码，获得第一解码结果；

将不同时刻的图片对象内容的特征编码再按照从右往左的顺序进行解码，获得第二解码结果。

作为用于辅助视觉障碍者理解图片的方法的优选方案，步骤(3)中，将第一解码结果和第二解码结果进行整合，通过softmax函数输出每个时刻的概率分布情况，选择最大概率对应的标签作为对应时刻的输出结果，依次解码得到描述整个图片对象的文本信息。