[发明专利]特定区域的图像描述生成方法、装置、设备及存储介质

权利要求书

1.一种特定区域的图像描述生成方法，其特征在于，所述方法包括：

获取全局图像；

基于预训练的第一特征提取网络模型对所述全局图像进行全局特征提取，得到全局图像特征图；

基于预训练的第二特征提取网络模型对所述全局图像特征图进行局部特征提取，得到局部图像特征图；

分别对所述全局图像特征图和所述局部图像特征图进行维度统一提取，得到对应所述全局图像特征图的全局图像特征向量和对应所述局部图像特征图的局部图像特征向量；

对所述全局图像特征向量和所述局部图像特征向量进行融合，得到最终图像特征向量；

基于预训练的文本生成网络模型对所述最终图像特征向量进行文本生成，得到特定区域描述文本。

2.根据权利要求1所述的特定区域的图像描述生成方法，其特征在于，所述基于预训练的第二特征提取网络模型对所述全局图像特征图进行局部特征提取，得到局部图像特征图，包括：

基于预训练的第二特征提取网络模型对所述全局图像特征图进行选择性搜索，得到至少一个候选框图；

对各个所述候选框图分别进行第一特征提取，得到各个所述候选框图对应的候选特征图；

基于所述候选特征图对所述候选框图进行回归调整，得到精确候选框图；

基于预训练的第二特征提取网络模型对所述精确候选框图进行第二特征提取，得到所述局部图像特征图。

3.根据权利要求1所述的特定区域的图像描述生成方法，其特征在于，所述分别对所述全局图像特征图和所述局部图像特征图进行维度统一提取，得到对应所述全局图像特征图的全局图像特征向量和对应所述局部图像特征的局部图像特征向量，包括：

对所述全局图像特征图和所述局部图像特征图进行映射处理，得到映射特征图谱；

基于所述映射特征图谱，分别对所述全局图像特征图和所述局部图像特征图进行最大池化操作得到对应所述全局图像特征图的全局图像特征向量和对应所述局部图像特征的局部图像特征向量。

4.根据权利要求1所述的特定区域的图像描述生成方法，其特征在于，所述文本生成网络模型包括注意力网络模型和长短期记忆网络模型，所述基于预训练的文本生成网络模型对所述最终图像特征向量进行文本生成，得到特定区域描述文本，包括：

基于所述注意力网络模型对所述全局图像特征向量和所述局部图像特征向量进行计算，得到当前文本状态信息；以及基于所述长短期记忆网络模型对所述最终图像特征向量进行计算，得到初始文本信息；

基于所述长短期记忆网络模型对所述当前文本状态信息和所述初始文本信息进行计算，得到当前文本信息；

基于所述长短期记忆网络模型对所述当前文本信息进行文本生成，得到所述特定区域描述文本。

5.根据权利要求4所述的特定区域的图像描述生成方法，其特征在于，所述基于所述长短期记忆网络模型对所述当前文本信息进行文本生成，得到所述特定区域描述文本之后，所述方法还包括：

基于所述注意力网络模型对新的所述全局图像特征向量和新的所述局部图像特征向量进行计算，得到新的所述当前文本状态信息；

基于所述长短期记忆网络模型对新的所述当前文本状态信息和前一时刻得到的所述当前文本信息进行计算，得到新的所述当前文本信息；

基于所述长短期记忆网络模型对新的所述当前文本信息进行文本生成，得到新的所述特定区域描述文本。

6.根据权利要求1所述的特定区域的图像描述生成方法，其特征在于，所述对所述全局图像特征向量和所述局部图像特征向量进行融合，得到最终图像特征向量，包括：

基于权重融合函数对所述全局图像特征向量和所述局部图像特征向量进行融合，得到所述最终图像特征向量。

7.根据权利要求3所述的特定区域的图像描述生成方法，其特征在于，所述对所述全局图像特征图和所述局部图像特征图进行映射处理，得到映射特征图谱，包括：

基于双线性插值算法对所述全局图像特征图和所述局部图像特征图进行映射处理，得到映射特征图谱。