[发明专利]图文摘要的评价方法

权利要求书

1.一种图文摘要的评价方法，其特征在于包括：

计算预先获取的待测摘要的文本和参考摘要的文本之间的ROUGE值；

获取所述待测摘要的图片和所述参考摘要的图片之间的准确度；

基于预先构建的图文相似度计算模型获取所述待测摘要中图片和文本的相似度；

基于预先构建的图文摘要评价模型并根据所述ROUGE值、准确度以及相似度获取对所述待测摘要的评价值；

其中，所述图文相似度计算模型和图文摘要评价模型是分别基于预设的图片描述数据集和评价得分数据集并利用机器学习算法所构建的神经网络模型和线性回归模型。

2.根据权利要求1所述的图文摘要的评价方法，其特征在于，“计算预先获取的待测摘要的文本和参考摘要的文本之间的ROUGE值”的步骤包括：

获取所述待测摘要的文本和参考摘要的文本之间多个初始ROUGE值；

分别计算多个所述初始ROUGE值与预先获取的人工评价的相关性，将相关性最高的初始ROUGE值作为所述待测摘要的文本和参考摘要的文本之间的ROUGE值。

3.根据权利要求1所述的图文摘要的评价方法，其特征在于，“获取所述待测摘要的图片和所述参考摘要的图片之间的准确度”的步骤包括：

判断所述待测摘要的图片是否与所述参考摘要的图片相同；

若相同，则所述待测摘要的图片和所述参考摘要的图片之间的准确度为1；

若不相同，则所述待测摘要的图片和所述参考摘要的图片之间的准确度为0。

4.根据权利要求1所述的图文摘要的评价方法，其特征在于，在“基于预先构建的图文相似度计算模型获取所述待测摘要中图片和文本的相似度”的步骤之前，所述方法还包括：

分别获取所述图片文本数据集的图片和图片描述数据对应的特征向量；

利用机器学习算法并根据所述图片和图片描述数据对应的特征向量训练所述图文相似度计算模型。

5.根据权利要求4所述的图文摘要的评价方法，其特征在于，“利用机器学习算法并根据所述图片和图片描述数据对应的特征向量训练所述图文相似度计算模型”的步骤包括：

根据下式所示的最大间隔损失函数并利用机器学习算法训练所述图文相似度计算模型：

其中，L表示所述最大间隔损失函数，β表示最大间隔参数，s()表示余弦相似度，i、c分别表示所述图片和文本对应的特征向量，表示与特征向量i不匹配的文本对应的特征向量，表示与特征向量c不匹配的图片对应的特征向量。

6.根据权利要求1所述的图文摘要的评价方法，其特征在于，在“基于预先构建的图文摘要评价模型并根据所述ROUGE值、准确度以及相似度获取对所述待测摘要的评价”的步骤之前，所述方法还包括：

分别获取所述评价得分数据集中图文摘要的文本和参考摘要的文本之间的ROUGE值、图文摘要的图片和参考摘要的图片之间的准确度、图文摘要中图片和文本的相似度以及图文摘要的人工评价得分；

利用线性回归算法并根据所述评价得分数据集中的ROUGE值、准确度、相似度以及人工评价得分训练所述图文摘要评价模型。

7.根据权利要求6所述的图文摘要的评价方法，其特征在于，“利用线性回归算法并根据所述评价得分数据集中的ROUGE值、准确度、相似度以及人工评价得分训练所述图文摘要评价模型”的步骤包括：

按照下式所述的线性回归函数并利用线性回归算法训练所述图文摘要评价模型：

y＝f(m1,m2,m3)

其中，m1表示所述评价得分数据集中的ROUGE值，m2表示所述评价得分数据集中的准确度，m3表示所述评价得分数据集中的相似度，f(·)表示线性回归函数，y表示所述评价得分数据集中的人工评价得分。