[发明专利]用于生成图像描述信息的方法和装置

权利要求书

1.一种用于生成图像描述信息的方法，包括：

获取待描述图像；

将所述待描述图像输入至预先训练的图像描述模型，生成图像描述信息，其中，所述图像描述模型用于表征图像描述信息与待描述图像之间的对应关系，所述图像描述模型中包括基于注意力机制的图表示网络，所述图表示网络用于提取所述待描述图像中的实例和实例之间的关系。

2.根据权利要求1所述的方法，其中，所述图表示网络的输入包括：实例查询向量、实例键向量、实例值向量、关系查询向量、关系键向量、关系值向量、关系构建向量，其中，所述关系构建向量用于表征实例之间是否具备关系。

3.根据权利要求2所述的方法，其中，所述图表示网络的输入还包括：门向量，其中，所述门向量用于表征图像中各通道的特征。

4.根据权利要求3所述的方法，其中，所述关系包括以下至少一项：一对一关系，一对多关系。

5.根据权利要求1-4之一所述的方法，其中，所述图像描述模型包括编码网络和解码网络，所述编码网络和解码网络分别包括所述图表示网络；以及

所述将所述待描述图像输入至预先训练的图像描述模型，生成图像描述信息，包括：

基于所述待描述图像提取特征，生成图像特征表示，其中，所述图像特征表示包括实例特征和关系特征；

将所述实例特征和关系特征输入至所述包括图表示网络的编码网络，生成编码向量；

基于将所述编码向量输入所述包括图表示网络的解码网络，生成所述图像描述信息。

6.根据权利要求5所述的方法，其中，所述基于所述待描述图像提取特征，生成图像特征表示，包括：

将所述待描述图像输入预先训练的特征提取网络，生成初始特征表示；

将所述初始特征表示与预设的位置编码进行结合，生成所述图像特征表示。

7.根据权利要求6所述的方法，其中，所述位置编码包括二维位置编码。

8.一种用于生成图像描述信息的装置，包括：

获取单元，被配置成获取待描述图像；

生成单元，被配置成将所述待描述图像输入至预先训练的图像描述模型，生成图像描述信息，其中，所述图像描述模型用于表征图像描述信息与待描述图像之间的对应关系，所述图像描述模型中包括基于注意力机制的图表示网络，所述图表示网络用于提取所述待描述图像中的实例和实例之间的关系。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。