[发明专利]基于深度学习的面向图像的端到端中文古诗词推荐方法

说明书

本发明公开了一种基于深度学习的面向图像的端到端中文古诗词推荐方法，本发明首先对图像和中国传统古诗词两类数据进行自动化分析处理，分别得到图像和中文古诗词的特征提取模型，从而针对用户输入的图像，推荐合适的中文古诗词。与现有的古诗词推荐方法相比，本发明一方面考虑了中文古诗词的多标签假设充分提取了标签之间的相关性；另一方面现有大部分古诗词推荐方法先基于图像特征提取关键词信息然后基于关键词推荐古诗词，而本发明是基于图像推荐中文古诗词的端到端模型框架，直接根据提取的图像特征推荐中文古诗词，避免将关键词作为中间结果导致的信息缺失。

技术领域

本发明涉及基于深度学习技术的图像处理和自然语言处理技术，尤其涉及一种基于深度学习的面向图像的端到端中文古诗词推荐方法。

背景技术

在现有基于图像推荐其他模态数据的问题中，针对输入图片，研究人员最初选择使用中英文文本进行描述。但随着自然语言处理相关技术的发展，研究人员开始基于图像推荐较复杂的古典诗歌。

为了解决这个问题，有些研究人员提出利用关键词或简单的文本描述作为图像和诗歌之间的桥梁：先对图像进行解析，并利用现有图像捕获(Image Captioning)技术生成描述文本或关键词，然后根据文本或关键词推荐合适的古诗词。虽然这类方法将原问题分解为了两个更容易的子问题，但使用中间描述文本会导致信息缺失，限制了方法的预测性能。例如iPoemRec将古典诗歌的常见情感意象映射到同一空间，并分别根据图像中的景物和诗歌语句中的关键词将图像和诗歌映射到该空间，从而在该空间计算图片与诗歌之间的距离。显然这种只关注局部特征而忽略全局的方法会造成信息的缺失。

还有些方法尝试不直接推荐现有古典诗歌，而是学习诗歌的风格、语法并基于图像中的景物生成新的诗歌。首先根据图像生成现代文描述语句，然后利用递归神经网络将现代文转化为特定律诗。但由于缺少适用于古典诗歌生成的模型，并且缺乏足量合适的诗词数据集，生成任务的效果难以直接应用于实际问题。

此外，在学习诗歌的特征提取模型过程中，有些研究人员简单地假设了诗歌的标签(情感或意象)是唯一的。而实际上，诗歌中往往蕴含着复杂的情感和复数的意象，同时不同情感之间存在相关性，而意象和情感之间也不是简单的一一对应关系，即一个样本能够同时关联多个标签且标签之间具有相关性。因此诗歌特征提取模型的训练过程需要利用多标签学习问题的知识。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于深度学习的面向图像的端到端中文古诗词推荐方法。

本发明的目的是通过以下技术方案来实现的：一种基于深度学习的面向图像的端到端中文古诗词推荐方法，其特征在于，包括以下步骤：

步骤(1)：根据中文古诗词数据特点，在开源图像数据的基础上，进行图像的增减和标签空间的调整，并利用调整后的数据集完成图像特征提取模型的训练；

步骤(2)：从互联网收集中文古诗词构建诗词数据库，训练用于古诗词特征提取的Bert模型，提取数据库中诗词的特征向量；

步骤(3)：输入图片，中文古诗词深度推荐模型推荐合适的古诗。

进一步地，所述步骤(1)包括以下子步骤：

(1.1)在图像的标签空间中增加了诗词的意象和主题，记为Y_item，得到图像数据训练集表示如下：

其中，i为图像的索引，n为图像总数量，x_i为图像像素特征，y_i为图像的分类标签，并满足y_i∈Y_e∪Y_item，即y_i属于原有标签集合Y_e或新增标签集合Y_item；