[发明专利]一种利用图片生成自然语言的方法及系统

说明书

本发明公开了一种利用图片生成自然语言的方法及系统，能够在输入一张图片的情况下实时生成一首全新的古诗，并且结合人工智能，对教学进行辅助，能够有效提高课堂教学的趣味性，在教育情景中能够使教学智能化，提升趣味性。本发明可用于教育领域，但不限于教育领域，可扩展性好。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种利用图片生成自然语言的方法及系统。

背景技术

随着人工智能的发展，运用人工智能技术应用于传统领域成为了一个重要的应用方向。特别是近年来，随着自然语音处理技术和图像识别技术的迅速发展，这些技术与传统领域的各种应用的结合成为了新的热点，传统的教育方式和方法难以再抓住学生的兴趣，而人工智能系统的应用能够增加教育的趣味性。

现有技术中，一般是基于关键词和固定模板进行诗生成，但是既没有通过图片进行诗生成系统方法；也没有设计教育辅助工具等使相关技术应用于教育的情景，且应用的趣味性和完善性都有缺乏，如专利CN106095752A和专利CN111291536A。因此，相关技术中的生成诗系统方法在教育情景中应用并不理想。

发明内容

本发明的目的就在于为了解决上述问题而提供一种利用图片生成自然语言的方法及系统，本发明的方法支持输入一张图片，能够根据图片自动生成诗并匹配一首已有的古诗。

本发明通过以下技术方案来实现上述目的：

一种利用图片生成自然语言的方法及系统，包括以下步骤：

步骤S1：获取诗词和图的数据；

步骤S2：处理诗词和图的数据，使之符合图配诗的应用场景；

步骤S3：抽取诗词和图的信息，结合抽取的信息，采用生成式模型从一张图片生成诗；

步骤S4：基于诗词和人工智能，设计并采用教学辅助手段辅助教学；

步骤S5：部署以适配教育场景。

进一步方案为，所述步骤S1的步骤包括：

步骤S11：爬取诗词信息，数据源为中国诗词网；

步骤S12：下载诗词数据集，数据源为github；

步骤S13：通过书籍等手工录入诗词数据；

步骤S14：将步骤S11、S12、S13中得到的诗的文本内容提取出来；

步骤S15：爬取一定数量的诗文本在搜索引擎中的强相关图片；

步骤S16：人工查找部分契合教育场景的图片。

进一步方案为，所述步骤S2的步骤包括：

步骤S21：采用正则表达式清洗诗词数据；

步骤S22：将诗词数据结构化，方便后续操作；

步骤S23：人工过滤掉部分搜索引擎爬取的噪音图片；

步骤S24：将以诗文本爬取的图片与诗一一对应形成诗-图对；

步骤S25：人工手动标注一定数量的图片对应的已有的诗-图对的补充数据。

进一步方案为，所述步骤S3的步骤包括：

步骤S31：运用Word2vec模型将诗的文本转化为向量表示；

步骤S32：将已有古诗的向量表示输入LSTM网络提取文本的语义信息；

步骤S33：将对应的图片输入视觉特征提取神经网络提取图片的特征信息；