[发明专利]基于深度学习的面向图像的端到端中文古诗词推荐方法

权利要求书

1.一种基于深度学习的面向图像的端到端中文古诗词推荐方法，其特征在于，包括以下步骤：

步骤(1)：根据中文古诗词数据特点，在开源图像数据的基础上，进行图像的增减和标签空间的调整，并利用调整后的数据集完成图像特征提取模型的训练；

步骤(2)：从互联网收集中文古诗词构建诗词数据库，训练用于古诗词特征提取的Bert模型，提取数据库中诗词的特征向量；

步骤(3)：输入图片，中文古诗词深度推荐模型推荐合适的古诗。

2.根据权利要求1所述基于深度学习的面向图像的端到端中文古诗词推荐方法，其特征在于，所述步骤(1)包括以下子步骤：

(1.1)在图像的标签空间中增加了诗词的意象和主题，记为Y_item，得到图像数据训练集表示如下：

其中，i为图像的索引，n为图像总数量，x_i为图像像素特征，y_i为图像的分类标签，并满足y_i∈Y_e∪Y_item，即y_i属于原有标签集合Y_e或新增标签集合Y_item；

(1.2)利用图像数据训练集训练神经网络，训练损失为均方误差，优化策略为梯度下降，损失函数表示如下：

其中，x_i表示从训练集输入的图片，l_i表示图片对应的标签向量，F₁表示用于图像标签预测的神经网络，||·||₂是向量的L2范数，Ω(F₁)表示神经网络的正则项，用于控制模型复杂度；将神经网络F₁最后几层线性映射层丢弃，即获得图像特征提取模型，记为F₁′。

3.根据权利要求2所述基于深度学习的面向图像的端到端中文古诗词推荐方法，其特征在于，所述步骤(2)包括以下子步骤：

(2.1)收集中文古诗词；

(2.2)利用标签间的低秩假设提取标签和隐层特征间的相关性，矩阵的低秩假设通过最小化矩阵的奇异值之和进行近似；模型Bert的训练损失可以表示如下：

其中，m表示古诗词总数量，x′_j表示输入的某个古诗词，l′_j表示诗词对应的标签向量，F₂表示用于诗词标签预测的Bert模型，Ω(F₂)表示Bert的正则项，用于控制模型复杂度，F₂(X′)表示所有古诗词的预测标签矩阵，||·||_*是核范数，用于计算矩阵奇异值之和；将Bert模型F₂最后几层线性映射层丢弃，即获得中文古诗词特征提取模型，记为F₂′；

(2.3)确保图像特征提取模型F₁′和中文古诗词特征提取模型F₂′提取到的特征维度相同，将F₁′和F₂′结合相同线性映射模型，最后利用和交替优化图像特征提取模型F₁′和中文古诗词特征提取模型F₂′。

4.根据权利要求3所述基于深度学习的面向图像的端到端中文古诗词推荐方法，其特征在于，所述利用和交替优化图像特征提取模型F₁′和中文古诗词特征提取模型F₂′具体为，

(a)固定F₁′和F₂′，根据图像数据和中文古诗词数据，分别用和计算线性映射模型参数的梯度并更新；

(b)固定线性映射层，根据图像数据和中文古诗词数据，分别用和计算特征提取模型F₁′和F₂′的参数的梯度并更新；

(c)利用F₂′提取诗词库中所有诗词的特征，生成对应特征向量，记第j首诗词的特征向量p_j，所有特征向量组成的矩阵为P。

5.根据权利要求4所述基于深度学习的面向图像的端到端中文古诗词推荐方法，其特征在于，所述步骤(3)具体为：针对用户输入的图像，利用图像特征提取模型F₁′提取输入图像的特征,记特征向量为F₁′(x)，同时计算；已知模型F₁′和F₂′提取的特征在同一特征空间中，即F₁′(x)与P位于同一特征空间，直接用该特征空间内的欧氏距离衡量输入图像与诗词的距离，并选择最邻近诗词进行推荐，即求解以下最小化问题，

其中，诗词的索引j满足1≤j≤m，m表示古诗词总数量，表示返回使式子最小化时j的取值，p_j是第j首诗词的特征向量，||·||₂是向量的L2范数。