[发明专利]古诗词生成方法、装置、设备及存储介质

说明书

本发明提供的古诗词生成方法、装置、设备及存储介质，通过对多模态信息进行关键词提取，实现了多模态信息的规范化处理，进而能够接受更多种模态信息，支持更广泛的实际应用场景，充分反映用户意图；然后通过各模态信息的概率统计结果，为多模态信息的处理提供了数据基础；利用古诗词映射知识图谱，解决了现代汉语与古汉语之间的映射问题；最后，将得到的预设数目个古诗词关键词确定为古诗词主题词，并利用预先训练好的古诗词生成模型，生成与所述古诗词主题词相对应的目标古诗词，从而在古诗词生成过程中，充分融合了多模态信息，更全面的体现了用户意图，有效提升了古诗词生成质量。

技术领域

本发明涉及自然语言处理技术领域，更具体的说，涉及古诗词生成方法、装置、设备及存储介质。

背景技术

自然语言生成(NLG)技术在工业应用中越来越广泛，伴随自然语言处理(NLP)技术的快速发展，根据给定主题(结构化数据)生成连贯的自然语言话语成为一个热门的新兴话题，而且使用机器学习让计算机进行古诗词的创作也成为可能。

现有的古诗词生成方案，一般是以单一模态信息(如文本或图像)来生成古诗词，但是单模态信息会存在给定信息不足的问题，据此生成的古诗词可能会与用户真实意图不符，导致古诗词生成质量较差。另一方面，在实际应用中，对于古诗词的生成，用户给定的信息通常会是多模态的，比如用户可能会同时给出文本、图像、视频与音频等多种类型的信息，而如何通过融合多模态信息来提升古诗词生成质量，目前并没有很好的解决方案。

因此，目前迫切需要一种切实有效的古诗词生成方案，以融合多模态信息来提升古诗词生成结果的质量。

发明内容

有鉴于此，本发明提供了一种古诗词生成方法及装置，以解决基于单一模态信息生成古诗词质量较差，而目前又难以融合多模态信息来提升古诗词生成结果的质量的技术问题。

为实现上述目的，本发明提供如下技术方案：

一种古诗词生成方法，包括：

获取用户输入的多模态信息，所述多模态信息包括图像、视频、文本与音频中的至少两种；

对所述多模态信息中各模态信息分别进行关键词提取，获得所述各模态信息分别对应的现代汉语关键词，作为目标现代汉语关键词；

根据历史模态信息统计数据，获取所述各模态信息的出现概率；

根据预先构建的古诗词映射知识图谱，获取与所述目标现代汉语关键词的相关度最高的古汉语关键词，作为目标古汉语关键词；

根据所述目标古汉语关键词与所述目标现代汉语关键词之间的相关度，以及所述各模态信息的出现概率，确定所述目标古汉语关键词的权重；

将所述目标古汉语关键词中权重最大的预设数目个古汉语关键词，确定为古诗词主题词；

利用预先训练好的古诗词生成模型，生成与所述古诗词主题词相对应的目标古诗词。

优选的，所述对所述多模态信息中各模态信息分别进行关键词提取，得到所述各模态信息分别对应的现代汉语关键词，作为目标现代汉语关键词包括：

当所述多模态信息中包括文本时，使用命名实体识别技术识别所述文本中的关键词，得到所述文本对应的现代汉语关键词，作为目标现代汉语关键词；

当所述多模态信息中包括音频时，先使用语音识别技术将所述音频中的语音转换成语音识别文本，再使用命名实体识别技术识别所述语音识别文本中的关键词，得到所述音频对应的现代汉语关键词，作为目标现代汉语关键词；

当所述多模态信息中包括图像时，先使用图像识别技术识别所述图像的内容信息，再根据所述图像的内容信息，确定所述图像对应的现代汉语关键词，作为目标现代汉语关键词；