[发明专利]图像内容描述信息生成方法、电子设备及存储介质

权利要求书

1.一种图像内容描述信息生成方法，其特征在于，包括：

获取图像；

将所述图像输入特征提取模型，得到高维特征向量；

根据所述高维特征向量生成内容描述信息；

其中，高维特征向量包括单词表中各单词用于描述图像所示内容的概率；

其中，所述根据所述高维特征向量生成内容描述信息，包括：

将所述高维特征向量输入描述生成模型，由所述描述生成模型循环执行描述生成操作，直到满足预设循环终止条件，将由每次执行所述描述生成操作的输出组成的语句，作为所述内容描述信息；

所述描述生成操作包括：首次执行时，根据所述高维特征向量、以及起始字符和/或初始的模型预设层向量确定首次的输出；

非首次执行时，根据所述高维特征向量，以及上一次执行所述描述生成操作的输出和/或确定的模型预设层向量，确定本次的输出；

其中，模型预设层向量为由所述描述生成模型的结构中某一预设层确定的向量；所述起始字符为用于标识开始生成所述内容描述信息的字符；

其中，所述根据所述高维特征向量、以及起始字符和/或初始的模型预设层向量确定首次的输出，包括：

获取目标语句对应的特征向量，作为初始的模型预设层向量，将所述初始的模型预设层向量和所述高维特征向量输入第一全连接层结构，由所述第一全连接层结构输出首次的第一特征向量；

计算首次的第一特征向量与所述高维特征向量对应位置处的元素的乘积，将由乘积组成的向量作为首次的加权特征向量；

获取所述起始字符对应的特征向量，作为起始特征向量，将所述起始特征向量输入第二全连接层结构，由所述第二全连接层结构输出首次的第三特征向量；

将首次的加权特征向量输入第三全连接层结构，由所述第三全连接层结构输出首次的第四特征向量；

将首次的第三特征向量和首次的第四特征向量进行拼接，得到首次的拼接特征向量，将首次的拼接特征向量输入循环神经网络结构，将所述循环神经网络结构的输出，作为首次的输出；

其中，所述目标语句根据目标单词在语句库中搜索得到；所述目标单词为所述高维特征向量中大于预设阈值的概率在所述单词表中对应的单词。

2.根据权利要求1所述的图像内容描述信息生成方法，其特征在于，所述根据所述高维特征向量，以及上一次执行所述描述生成操作的输出和确定的模型预设层向量，确定本次的输出，包括：

根据上一次执行所述描述生成操作确定的模型预设层向量和所述高维特征向量，确定本次的加权特征向量；

根据本次的加权特征向量和上一次执行所述描述生成操作的输出，确定本次的输出。

3.根据权利要求2所述的图像内容描述信息生成方法，其特征在于，所述根据上一次执行所述描述生成操作确定的模型预设层向量和所述高维特征向量，确定本次的加权特征向量，包括：

获取上一次执行所述描述生成操作时，由所述描述生成模型中循环神经网络结构的隐藏层确定的隐藏状态向量，作为上一次执行所述描述生成操作确定的模型预设层向量；

将上一次确定的模型预设层向量和所述高维特征向量，输入所述描述生成模型中的第一全连接层结构，由所述第一全连接层结构输出本次的第一特征向量；

计算本次的第一特征向量与所述高维特征向量对应位置处的元素的乘积，将由乘积组成的向量作为本次的加权特征向量；

其中，第一特征向量与所述高维特征向量的维度相同。

4.根据权利要求3所述的图像内容描述信息生成方法，其特征在于，所述根据本次的加权特征向量和上一次执行所述描述生成操作的输出，确定本次的输出，包括：

获取本次的第二特征向量，将本次的第二特征向量输入所述描述生成模型中的第二全连接层结构，由所述第二全连接层结构输出本次的第三特征向量；

将本次的加权特征向量输入所述描述生成模型中的第三全连接层结构，由所述第三全连接层结构输出本次的第四特征向量；

将本次的第三特征向量和本次的第四特征向量进行拼接，得到本次的拼接特征向量，将本次的拼接特征向量输入所述循环神经网络结构，将所述循环神经网络结构的输出，作为本次的输出；

其中，本次的第二特征向量为上一次的输出对应的特征向量；第三特征向量和第四特征向量的维度均等于预设维度。