[发明专利]一种基于深度学习的图像内容描述方法及系统

说明书

本发明涉及一种图像描述的技术领域，揭露了一种基于深度学习的图像内容描述方法，包括：利用基于阈值的二值化方法对待描述图像进行二值化处理，并利用非最大信号压制方法细化二值化图像的轮廓；提取图像轮廓区域内的空间域特征；计算空间域特征中不同特征的权重，根据所赋予的特征权重进行空间域特征的融合；利用多方向小波变换方法对空间域融合特征进行多尺度的复频域变换处理，得到图像的低频子带；将低频子带输入预构建的self‑adaption Net模型中，提取出图像描述特征；将所提取的图像描述特征输入预构建Conv‑C网络模型，进行图像描述文本的生成。本发明还提供了一种基于深度学习的图像内容描述系统。本发明实现了图像内容的描述。

技术领域

本发明涉及图像描述的技术领域，尤其涉及一种基于深度学习的图像内容描述方法及系统。

背景技术

随着智能终端设备的普及和多媒体应用的爆发式增长，相应数据的产生和积累也与日俱增，如何更好的利用和处理这些数据已经成为普遍关注的问题。图像和文本是日常生活中最常见的数据形式，也是互联网数据的主要组成部分，相关研宄也往往围绕着图像和文本数据展开。

图像描述将计算机视觉和自然语言处理结合起来，目标是使得计算机能识别图像内容并自动生成自然语言文本来对图像内容进行描述，可以看作从图像到文本的翻译过程。与图像识别不同的是，图像描述生成的文本更全面地反映了图像信息。理想情况下，描述文本不仅包含图像中的所有目标实体，还包括不同实体之间的特征、位置、动作，甚至依据图像内容进行场景推断、联系图像中的背景知识等。

现有的图像描述模型使用图像全局层面的特征来指导文本生成，往往存在遗漏和误判目标的问题，如GLA模型利用Attention将图像的全局和局部特征结合起来，从而更准确地描述出图像中的局部目标，但是模型并不能端到端训练，使得模型中的每个步骤都是相互独立的，每个步骤的结果都会影响整个模型训练的结果，同时，现有图像描述模型无法自适应的输入图像尺寸，使得在进行图像内容描述之前需要对图像尺寸进行修改。

鉴于此，如何对图像的有效特征进行准确提取，并对现有图像描述模型进行改进，从而实现对图像内容的描述，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种基于深度学习的图像内容描述方法，通过在空间域分别提取图像的颜色特征和直方图特征，并使用多方向小波变换对图像进行多尺度的复频域变换，得到图像的形状特征和纹理特征，并利用改进的图像描述模型实现对图像内容的描述。

为实现上述目的，本发明提供的一种基于深度学习的图像内容描述方法，包括：

获取待描述图像，利用基于阈值的二值化方法对图像进行二值化处理；

利用非最大信号压制方法细化二值化图像的轮廓；

提取图像轮廓区域内的空间域特征，所述空间域特征包括图像的颜色特征和梯度直方图特征；

计算空间域特征中不同特征的重要性，并基于特征的重要性赋予不同空间域特征的权重，根据所赋予的特征权重进行空间域特征的融合；

利用多方向小波变换方法对图像的空间域融合特征进行多尺度的复频域变换处理，得到图像的高频子带和低频子带；

将图像的低频子带输入预构建的self-adaption Net模型中，提取出图像描述特征；

将所提取的图像描述特征输入预构建Conv-C网络模型，进行图像描述文本的生成。

可选地，所述基于阈值的二值化方法为：

其中：

g(x，y)为二值化后二值图中坐标为(x，y)处像素点的灰度值；

f(x，y)为原图像中坐标为(x，y)处像素点的灰度值；