[发明专利]图文摘要的评价方法

说明书

本发明属于自然语言技术领域，具体提供一种图文摘要的评价方法及装置，旨在解决现有技术缺少对图文摘要进行评价从而导致摘要以单模态形式输出的问题。为此目的，本发明提供了一种图文摘要的评价方法，包括计算预先获取的待测摘要的文本和参考摘要的文本之间的ROUGE值；获取待测摘要的图片和参考摘要的图片之间的准确度；基于预先构建的图文相似度计算模型获取待测摘要中图片和文本的相似度；基于预先构建的图文摘要评价模型并根据ROUGE值、准确度以及相似度获取对待测摘要的评价值。基于上述步骤，本发明提供的方法可以从多个方面综合考虑影响摘要评价的因素，可以很好地模拟人工评价的过程，进而提高摘要评价的准确度和处理效率。

技术领域

本发明属于自然语言技术领域具体涉及一种图文摘要的评价方法。

背景技术

自动摘要是利用计算机系统自动实现文本分析、内容归纳和摘要自动生成的技术，可以按读者(或用户)的要求以简洁的形式表达原文的主要内容。自动摘要技术能够有效地帮助读者(或用户)从检索到的文章中寻找感兴趣的内容，提高阅读速度和质量。该技术可以将文档压缩为更为简洁的表达，并且保证涵盖原始文档有价值的主题。

传统的自动摘要技术一般是单模态摘要，即输入全部为文本。随着技术的发展，多模态自动摘要技术出现。多模态自动摘要的输入为多个模态，包括文本、音频、视频和图像等，随着信息的载体越来越丰富多样，当用户通过搜索引擎对某一特定事件进行检索时，返回的内容往往不局限于文本，还可能来源于视频和图像模态。多模态自动摘要技术可以对来自于多模态的信息进行提炼，从而帮助用户在短时间获取多媒体信息。

现有的多模态自动摘要技术输出都局限于单模态形式，如只是文本或者图片等，很大程度上是因为对多模态形式摘要的评价方式的缺失，如何对摘要进行合理地评价很大程度上会影响摘要的准确度。

因此，如何提出一种合理地对图文摘要进行评价从而提高图文摘要的准确度的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术缺少对图文摘要进行评价从而导致摘要以单模态形式输出的问题，本发明的第一方面提供了一种图文摘要的评价方法，包括：

计算预先获取的待测摘要的文本和参考摘要的文本之间的 ROUGE值；

获取所述待测摘要的图片和所述参考摘要的图片之间的准确度；

基于预先构建的图文相似度计算模型获取所述待测摘要中图片和文本的相似度；

基于预先构建的图文摘要评价模型并根据所述ROUGE值、准确度以及相似度获取对所述待测摘要的评价值；

其中，所述图文相似度计算模型和图文摘要评价模型是分别基于预设的图片描述数据集和评价得分数据集并利用机器学习算法所构建的神经网络模型及线性回归模型。

在上述方案的优选技术方案中，“计算预先获取的待测摘要的文本和参考摘要的文本之间的ROUGE值”的步骤包括：

获取所述待测摘要的文本和参考摘要的文本之间多个初始 ROUGE值；

分别计算多个所述初始ROUGE值与预先获取的人工评价的相关性，将相关性最高的初始ROUGE值作为所述待测摘要的文本和参考摘要的文本之间的ROUGE值。

在上述方案的优选技术方案中，“获取所述待测摘要的图片和所述参考摘要的图片之间的准确度”的步骤包括：

判断所述待测摘要的图片是否与所述参考摘要的图片相同，

若相同，则所述待测摘要的图片和所述参考摘要的图片之间的准确度为1；

若不相同，则所述待测摘要的图片和所述参考摘要的图片之间的准确度为0。