[发明专利]一种利用图片生成自然语言的方法及系统

权利要求书

1.一种利用图片生成自然语言的方法，其特征在于，包括以下步骤：

步骤S1：获取诗词和图的数据；

步骤S2：处理诗词和图的数据，使之符合图配诗的应用场景；

步骤S3：抽取诗词和图的信息，结合抽取的信息，采用生成式模型从一张图片生成诗；

步骤S4：基于诗词和人工智能，设计并采用教学辅助手段辅助教学；

步骤S5：部署以适配教育场景。

2.如权利要求1所述的方法，其特征在于，所述步骤S1的步骤包括：

步骤S11：爬取诗词信息，数据源为中国诗词网；

步骤S12：下载诗词数据集，数据源为github；

步骤S13：通过书籍等手工录入诗词数据；

步骤S14：将步骤S11、S12、S13中得到的诗的文本内容提取出来；

步骤S15：爬取一定数量的诗文本在搜索引擎中的强相关图片；

步骤S16：人工查找部分契合教育场景的图片。

3.如权利要求1所述的方法，其特征在于，所述步骤S2的步骤包括：

步骤S21：采用正则表达式清洗诗词数据；

步骤S22：将诗词数据结构化，方便后续操作；

步骤S23：人工过滤掉部分搜索引擎爬取的噪音图片；

步骤S24：将以诗文本爬取的图片与诗一一对应形成诗-图对；

步骤S25：人工手动标注一定数量的图片对应的已有的诗-图对的补充数据。

4.如权利要求1所述的方法，其特征在于，所述步骤S3的步骤包括：

步骤S31：运用Word2vec模型将诗的文本转化为向量表示；

步骤S32：将已有古诗的向量表示输入LSTM网络提取文本的语义信息；

步骤S33：将对应的图片输入视觉特征提取神经网络提取图片的特征信息；

步骤S34：将古诗的语义信息与图片的特征信息进行联合训练，得到输入图片，输出文本关键词的神经网络；

步骤S35：将步骤S34中得到的关键词信息通过Word2vec模型转化为向量表示；

步骤S36：将关键词的向量表示作为输入经过LSTM网络提取关键词的语义信息；

步骤S37：训练诗生成器运用在步骤S32中生成的关键词语义信息运用LSTM网络生成诗。

5.如权利要求4所述的方法，其特征在于，所述LSTM网络第一层的输入为步骤S32中生成的关键词语义信息向量，输出为生成诗的第一个字和一个语义向量；之后的每一层将前一层的输出向量和输出结果作为下一层的输入，以此类推，直至生成完整的古诗。

6.如权利要求1所述的方法，其特征在于，所述步骤S4的步骤包括：

步骤S41：统计所有古诗的标签，选取最能筛选出特定古诗的标签；

步骤S42：将步骤S34中得到的关键词与已有的古诗进行关键词匹配选出与所选图片最接近的古诗；

步骤S43：随机去掉古诗中的一个字，将古诗该字前的部分作为LSTM网络的输入，将被去掉的字作为正确答案，其余预测结果作为错误答案，错误答案的预测分数为填字游戏选项分数的参照。

7.如权利要求1所述的方法，其特征在于，所述步骤S5的步骤包括：

步骤S51：将步骤S1、S2、S3、S4所述算法以来的运行环境运用docker打包为一个基础镜像；

步骤S52：将步骤S1、S2、S3、S4所述算法和文件运用docker打包为一个镜像；

步骤S53：在具体环境中部署镜像。

8.一种利用图片生成自然语言的系统，其特征在于，包括：

数据获取模块，用于诗词和图数据的获取；

数据处理模块，用于处理诗词和图的数据，使之符合图配诗的应用场景；

诗词生成模块，用于抽取诗词和图的信息，结合抽取的信息，采用生成式模型从一张图片生成诗；

教学辅助模块，用于采取教学辅助手段辅助教学；

适配应用模块，用于封装并部署系统以适配教育场景。