[发明专利]一种用于辅助视觉障碍者理解图片的方法及装置

权利要求书

1.一种用于辅助视觉障碍者理解图片的方法，其特征在于，包括以下步骤：

(1)获取用户上传的待理解图片对象，将待理解的图片对象输入到图片理解模型，所述图片理解模型包括图片内容特征提取网络和图片内容生成网络；

(2)通过所述图片内容特征提取网络对待理解的图片对象的内容进行特征编码，对图片对象上的显著性目标进行特征提取；

(3)通过所述图片内容生成网络接收所述图片内容特征提取网络提取的图片对象内容的特征编码，采用所述图片内容生成网络对图片对象内容的特征编码进行解码，生成描述图片对象的文本信息；

(4)将所述图片内容生成网络生成的描述图片对象的文本信息输送到语音合成模型，通过所述语音合成模型获得描述图片对象的语音结果；

(5)将所述语音合成模型生成的描述图片对象的语音结果反馈给用户。

2.根据权利要求1所述的一种用于辅助视觉障碍者理解图片的方法，其特征在于，步骤(2)中，通过图片对象的通道数、图片对象的高和图片对象的宽对待理解的图片对象进行表示，并将图片对象分割成若干子图块，通过子图块的查询向量和价值向量获得显著性目标的特征向量，对显著性目标的特征向量进行特征编码。

3.根据权利要求1所述的一种用于辅助视觉障碍者理解图片的方法，其特征在于，步骤(3)中，将不同时刻的图片对象内容的特征编码先按照从左往右的顺序进行解码，获得第一解码结果；

将不同时刻的图片对象内容的特征编码再按照从右往左的顺序进行解码，获得第二解码结果。

4.根据权利要求3所述的一种用于辅助视觉障碍者理解图片的方法，其特征在于，步骤(3)中，将第一解码结果和第二解码结果进行整合，通过softmax函数输出每个时刻的概率分布情况，选择最大概率对应的标签作为对应时刻的输出结果，依次解码得到描述整个图片对象的文本信息。

5.根据权利要求4所述的一种用于辅助视觉障碍者理解图片的方法，其特征在于，步骤(5)中，将所述语音合成模型生成的描述图片对象的语音结果反馈到用户持有的终端设备上，通过终端设备播放描述图片对象的语音结果。

6.一种用于辅助视觉障碍者理解图片的装置，其特征在于，包括：

理解对象输入模块，用于获取用户上传的待理解图片对象，将待理解的图片对象输入到图片理解模型，所述图片理解模型包括图片内容特征提取网络和图片内容生成网络；

目标特征提取模块，用于通过所述图片内容特征提取网络对待理解的图片对象的内容进行特征编码，对图片对象上的显著性目标进行特征提取；

文本信息描述生成模块，用于通过所述图片内容生成网络接收所述图片内容特征提取网络提取的图片对象内容的特征编码，采用所述图片内容生成网络对图片对象内容的特征编码进行解码，生成描述图片对象的文本信息；

语音处理模块，用于将所述图片内容生成网络生成的描述图片对象的文本信息输送到语音合成模型，通过所述语音合成模型获得描述图片对象的语音结果；

语音反馈模块，用于将所述语音合成模型生成的描述图片对象的语音结果反馈给用户。

7.根据权利要求6所述的一种用于辅助视觉障碍者理解图片的装置，其特征在于，所述目标特征提取模块中，通过图片对象的通道数、图片对象的高和图片对象的宽对待理解的图片对象进行表示，并将图片对象分割成若干子图块，通过子图块的查询向量和价值向量获得显著性目标的特征向量，对显著性目标的特征向量进行特征编码。

8.根据权利要求6所述的一种用于辅助视觉障碍者理解图片的装置，其特征在于，所述文本信息描述生成模块中，将不同时刻的图片对象内容的特征编码先按照从左往右的顺序进行解码，获得第一解码结果；

将不同时刻的图片对象内容的特征编码再按照从右往左的顺序进行解码，获得第二解码结果。