[发明专利]一种嵌入场景文字信息的图像自然描述语句生成方法

摘要

本发明公开一种嵌入场景文字信息的图像自然描述语句生成方法，利用场景文字信息来提升描述语句的语义丰富度。本方法在生成描述语句和检测识别出场景文字的基础上，来进行场景文字的嵌入任务。首先，需要对描述语句中的每一个词进行词性分析，找出其中的名词，每一个名词都能一一对应图像中的一个区域，然后计算名词所对应的图像区域的包围框和场景文字包围框的交并比来衡量两者是否存在依赖关系，如果交并比超过一定的阈值那么两者就存在依赖关系，否则不存在。最后，在保证语法正确性的前提下把场景文字嵌入到描述语句中。

主权项

1.一种嵌入场景文字信息的图像自然描述语句生成方法，其特征在于，包括以下步骤：/n步骤1，使用公开的数据集构建两个数据集(D1，D2)：D1为训练联合检测场景文字与普通目标的数据集,D2为验证本发明提出的无监督的场景文字嵌入方法的数据集；/n步骤2，对Faster R-CNN方法进行改进，以适应联合检测场景文字与普通对象的需要，并使用D1训练改进后的模型；/n步骤3，对Top-Down方法进行改进，以减轻过拟合风险，并使用D2数据集训练改进后的模型；/n步骤4，在D2中任取一张图像，使用步骤2，步骤3训练好的模型来生成检测结果与自然描述语句，并保留注意力机制产生的中间结果；使用公开的方法或者商业API对每一个检测出的场景文字进行识别，保留识别后的结果；/n步骤5，根据步骤4的结果，使用依赖关系分析的方法，分析描述语句成分，提取其中的名词；找出名词对应的图像区域，计算每一个场景文字与每一个图像区域的交并比(IOU)，交并比计算公式，如下：/nIOU＝(A∩B)/(A∪B)；/n步骤6，找出每个场景文字依赖的对象之后，把场景文字嵌入到生成的自然描述语句中。/n