[发明专利]基于图像生成文本信息的方法、装置、电子设备及介质

权利要求书

1.一种基于图像生成文本信息的方法，其特征在于，包括：

获取待处理图像的第一图像特征信息，以及至少一个文本属性对应的文本属性信息；

根据所述第一图像特征信息和所述文本属性信息，确定所述待处理图像所对应的文本信息。

2.根据权利要求1所述的图像生成文本信息的方法，其特征在于，获取所述待处理图像的至少一个文本属性对应的文本属性信息，包括：

根据所述第一图像特征信息，通过分类网络，得到所述待处理图像的至少一个文本属性对应的文本属性信息；或

获取所述待处理图像的第二图像特征信息；

根据所述第二图像特征信息，通过分类网络，得到所述待处理图像的至少一个文本属性对应的文本属性信息。

3.根据权利要求1或2所述的基于图像生成文本信息的方法，其特征在于，所述文本属性对应的文本属性信息包括：

所述文本属性在所述待处理图像中的全局文本属性信息；和/或

所述文本属性在所述待处理图像的各第一目标候选区域中的局部文本属性信息。

4.根据权利要求3所述的基于图像生成文本信息的方法，其特征在于，若所述文本属性对应的文本属性信息包括所述局部文本属性信息，所述根据所述第一图像特征信息和所述文本属性信息，确定所述待处理图像所对应的文本信息，包括：

确定针对各第一目标候选区域的权重；

根据针对各第一目标候选区域的权重，确定所述文本属性所对应的全局加权平均文本属性信息；

根据所述第一图像特征信息和所述文本属性所对应的全局加权平均文本属性信息，确定所述待处理图像所对应的文本信息。

5.根据权利要求1至4中任一项所述的基于图像生成文本信息的方法，其特征在于，所述根据所述第一图像特征信息和所述文本属性信息，确定所述待处理图像所对应的文本信息，包括：

根据所述第一图像特征信息和所述文本属性信息，通过递归神经网络，确定所述待处理图像的第一隐藏特征向量；

根据所述第一隐藏特征向量，通过多元逻辑回归函数，确定所述待处理图像所对应的文本信息。

6.根据权利要求5所述的基于图像生成文本信息的方法，其特征在于，若所述文本属性对应的文本属性信息包括所述全局文本属性信息和所述局部文本属性信息，和/或，所述第一图像特征信息包括所述待处理图像的全局图像特征信息和所述待处理图像的各第二目标候选区域中的局部图像特征信息，则所述递归神经网络包括至少两个级联的神经网络；

所述通过递归神经网络，确定所述待处理图像的第一隐藏特征向量满足以下处理规则中的至少一项：

所述全局文本属性信息的处理顺序位于所述局部文本属性信息之前；

所述全局图像特征信息的处理顺序位于所述局部图像特征信息之前；

所述至少两个级联的神经网络中的每一级神经网络中处理所述全局文本属性信息、所述局部文本属性信息、所述全局图像特征信息和所述局部图像特征信息中的至少一种信息。

7.根据权利要求1至6中任一项所述的基于图像生成文本信息的方法，其特征在于，所述文本属性包括下述至少一项：目标对象属性、形容词属性、动词属性和缺省可配置属性。

8.根据权利要求1至7中任一项所述的基于图像生成文本信息的方法，其特征在于，所述文本属性信息包括所述文本属性的概率分布特征信息和/或所述文本属性的属性值信息。

9.一种基于图像生成文本信息的装置，其特征在于，包括：

图像信息获取模块，用于获取待处理图像的第一图像特征信息，以及至少一个文本属性对应的文本属性信息；

文本信息确定模块，用于根据所述第一图像特征信息和所述文本属性信息，确定所述待处理图像所对应的文本信息。