[发明专利]一种基于图片的文本生成方法及装置

权利要求书

1.一种基于图片的文本生成方法，其特征在于，包括：

确定至少一个目标垂直领域，根据待编辑图片对应所属的目标垂直领域获取所述待编辑图片对应的图片内容信息和所述待编辑图片对应的图片分类信息；

根据所述待编辑图片对应的图片内容信息和所述待编辑图片对应的图片分类信息，生成所述待编辑图片对应的图片准确信息；

根据所述待编辑图片对应的图片准确信息，通过训练得到的文本生成模型生成所述待编辑图片对应的图片编辑文本；

其中，根据待编辑图片对应所属的目标垂直领域获取所述待编辑图片对应的图片分类信息，包括：

通过训练得到的图片领域分类模型对所述待编辑图片进行领域分类，得到所述待编辑图片所属的目标垂直领域；

基于所述待编辑图片对应的目标垂直领域，通过训练得到的图片场景分类模型对所述待编辑图片进行场景分类，得到所述待编辑图片所属的图片场景；

根据所述待编辑图片所属的目标垂直领域与所述待编辑图片所属的图片场景，构建所述待编辑图片在所属的目标垂直领域内对应的图片分类信息；

其中，根据待编辑图片对应所属的目标垂直领域获取所述待编辑图片对应的图片内容信息，包括：

通过训练得到的目标识别模型对所述待编辑图片进行目标检测，得到所述待编辑图片在所属的目标垂直领域中对应的目标识别信息；

将所述待编辑图片对应的目标识别信息在预设的知识数据库中进行匹配，获取所述待编辑图片对应的目标知识信息；

根据所述待编辑图片对应的目标识别信息和所述待编辑图片对应的目标知识信息，生成所述待编辑图片对应的图片内容信息；

其中，所述文本生成模型通过以下方法训练：

获取文本生成训练样本和对应的文本生成训练标签，其中，所述文本生成训练样本包括候选文档类型对应的文本结构化数据，所述文本生成训练标签包括所述文本结构化数据对应的类别标注；

通过所述文本生成训练样本和对应的文本生成训练标签对文本生成模型进行训练，根据所述文本生成模型的损失值调整文本生成模型的参数直至满足训练终止条件。

2.根据权利要求1所述的方法，其特征在于，根据所述待编辑图片对应的图片准确信息，通过训练得到的文本生成模型生成所述待编辑图片对应的图片编辑文本，包括：

从至少一个候选文档类型中确定目标文档类型，将所述待编辑图片对应的图片准确信息输入所述目标文档类型对应的文本生成模型中，得到所述待编辑图片对应的图片编辑文本。

3.根据权利要求1所述的方法，其特征在于，在通过训练得到的文本生成模型生成所述待编辑图片对应的图片编辑文本之后，还包括：

将所述待编辑图片对应的图片编辑文本以及所述待编辑图片对应的图片准确信息输出至用户。