[发明专利]一种基于卷积神经网络和无监督语言模型的由图成诗方法

权利要求书

1.一种基于卷积神经网络和无监督语言模型的由图成诗方法，包括如下模块，其特征在于：

1)图像实体识别与情感识别：以中国古诗中常见的意象和情感为指导，构成实体词集合与情感词集合，利用两个并行的卷积神经网络对输入的目标图像进行分类，从图像中提取相应的实体词与情感词，构成初始关键词集；

2)关键词扩展：对有情感标注的古诗语料进行分词与频数统计，以频数为基准选取高频词构成不同情感基调的关键词词典；对模块1)中的初始关键词集中的多个实体词进行随机选择，将该词投影到向量空间并与对应关键词词典中的每个词进行余弦距离度量，随机选择距离在阈值范围内的关键词作为扩展关键词，构成包含多个实体名词和一个情感词的关键词集；

3)古诗生成与多层次内容检查：利用大量古诗、古文语料对古诗生成模型进行预训练，并用有情感标注的古诗语料进行微调；将模块2)中得到的关键词集输入到训练完成的古诗生成模型，每个关键词作为每一句古诗的种子词，在情感标签的指导下进行古诗生成；根据用户要求的体裁来控制古诗的格式，根据人工构建的韵表来保证生成的古诗满足平仄押韵的规律；利用自动评价指标对生成的古诗进行语法与连贯性两个层次的评分，当分数低于阈值时重新生成古诗，当分数高于阈值时将生成的古诗输出给用户并接受用户的反馈。

2.根据权利要求1所述的一种基于卷积神经网络和无监督语言模型的由图成诗方法，其特征在于，步骤1)中使用图像分类技术利用两个参数不同的卷积神经网络进行图像实体与情感识别，达到较高的准确率；根据图像的颜色特征来决定生成古诗的情感基调，符合用户主观感受；为克服多实体名词的提取问题，对输入的图片进行随机区域选择，将随机选择的区域与原图一起输入网络模型以达到同时从图像中提取多个实体词的目的。

3.根据权利要求1所述的一种基于卷积神经网络和无监督语言模型的由图成诗方法，其特征在于，步骤2)中使用词向量模型将关键词投影到高维词向量空间进行关键词的扩展和随机选择，保证了扩展关键词的准确性与多样性；利用情感标注的古诗语料构建了多个关键词词典，可扩展出符合特定情感基调的关键词。

4.根据权利要求1所述的一种基于卷积神经网络和无监督语言模型的由图成诗方法，其特征在于，步骤3)中从图像中提取出的关键词将直接出现在生成的古诗中，保证了古诗内容和情感基调与图片的高度关联；采用带有掩膜的自注意力机制的无监督语言模型完成古诗生成任务，保证了生成内容的连贯性与可读性；使用情感标签辅助古诗生成，保证了整首古诗情感的流畅性，增强古诗的感染力；在生成诗句时使用多采样策略对备选范围内的字进行随机选择，同时利用双向生成算法使关键词可以出现在古诗的任意位置，降低了生成诗句的重复性，增强了整首古诗的流畅性；在生成过程中用多层次内容检查方法自动评判生成古诗的质量，间接提高了输出的古诗的质量。