[发明专利]古诗词生成方法、装置、设备及存储介质

权利要求书

1.一种古诗词生成方法，其特征在于，包括：

获取用户输入的多模态信息，所述多模态信息包括图像、视频、文本与音频中的至少两种；

对所述多模态信息中各模态信息分别进行关键词提取，获得所述各模态信息分别对应的现代汉语关键词，作为目标现代汉语关键词；

根据历史模态信息统计数据，获取所述各模态信息的出现概率；

根据预先构建的古诗词映射知识图谱，获取与所述目标现代汉语关键词的相关度最高的古汉语关键词，作为目标古汉语关键词；

根据所述目标古汉语关键词与所述目标现代汉语关键词之间的相关度，以及所述各模态信息的出现概率，确定所述目标古汉语关键词的权重；

将所述目标古汉语关键词中权重最大的预设数目个古汉语关键词，确定为古诗词主题词；

利用预先训练好的古诗词生成模型，生成与所述古诗词主题词相对应的目标古诗词。

2.如权利要求1所述的方法，其特征在于，所述对所述多模态信息中各模态信息分别进行关键词提取，得到所述各模态信息分别对应的现代汉语关键词，作为目标现代汉语关键词包括：

当所述多模态信息中包括文本时，使用命名实体识别技术识别所述文本中的关键词，得到所述文本对应的现代汉语关键词，作为目标现代汉语关键词；

当所述多模态信息中包括音频时，先使用语音识别技术将所述音频中的语音转换成语音识别文本，再使用命名实体识别技术识别所述语音识别文本中的关键词，得到所述音频对应的现代汉语关键词，作为目标现代汉语关键词；

当所述多模态信息中包括图像时，先使用图像识别技术识别所述图像的内容信息，再根据所述图像的内容信息，确定所述图像对应的现代汉语关键词，作为目标现代汉语关键词；

当所述多模态信息中包括视频时，先使用视频理解技术识别所述视频中的关键帧图像，再使用图像识别技术识别所述关键帧图像的内容信息，然后根据所述关键帧图像的内容信息，确定所述视频对应的现代汉语关键词，作为目标现代汉语关键词。

3.如权利要求1所述的方法，其特征在于，所述根据历史模态信息统计数据，获取所述各模态信息的出现概率包括：

利用以下公式，计算目标模态信息Bi的出现概率P(B_i)：

P(B_i)＝COUNT(B_i)/COUNT(B)，i∈[1,n]，B＝∑B_i；

其中，COUNT(B_i)表示所述多模态信息中目标模态信息B_i在历史模态信息中出现的次数；COUNT(B)表示所述多模态信息中所有模态信息B在历史模态信息中出现的总次数。

4.如权利要求1所述的方法，其特征在于，所述多模态信息中模态信息的表现形式包括单模态信息与多模态组合信息。

5.如权利要求1所述的方法，其特征在于，所述根据所述目标古汉语关键词与所述目标现代汉语关键词之间的相关度，以及所述各模态信息的出现概率，确定所述目标古汉语关键词的权重包括：

根据所述各模态信息与所述目标现代汉语关键词的对应关系，所述目标现代汉语关键词与所述目标古汉语关键词的关联关系，以及所述各模态信息的出现概率，确定所述目标古汉语关键词对应的概率；

将所述目标古汉语关键词对应的相关度与概率的乘积，作为所述目标古汉语关键词的权重。

6.如权利要求1所述的方法，其特征在于，所述将所述目标古汉语关键词中权重最大的预设数目个古汉语关键词，确定为古诗词主题词包括：

当所述目标古汉语关键词的个数大于或等于预设数目时，将所述古汉语关键词中权重最大的预设数目个古汉语关键词，作为古诗词主题词；

当所述目标古汉语关键词的个数小于所述预设数目时，使用通过主题词嵌入技术Topical Word Embedding预先训练好的古汉语词向量对所述目标古汉语关键词进行扩展，得到预设数目个目标古汉语关键词，作为古诗词主题词。