[发明专利]一种跨模态的文本相似度比较方法、装置及电子设备

说明书

本申请实施例公开了一种跨模态的文本相似度比较方法、装置及电子设备，涉及计算机技术领域，具体公开了方法包括：获取待比较的第一文本和第二文本；分别识别文本内容类型，并根据识别结果确定待转换的模态；将第一文本进行模态转换，得到第一转换内容，模态转换具有时间一致性；将第二文本进行模态转换，得到第二转换内容，第一转换内容和第二转换内容的模态相同；比较第一转换内容和第二转换内容，根据比较结果确定相似度。通过将文本转换为其他模态，例如图像视频音频等，能够更加直观更加准确地进行相似度检测，且无需大量数据训练，对于文字表述相似的文本也能够准确地通过其他模态的形式得到相似度，提升了相似度检测的准确性。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种跨模态的文本相似度比较方法、装置及电子设备。

背景技术

文本相似度是采用数学方法衡量两个文本之间的相似程度的度量标准，在多个领域都被广泛应用。例如，文本相似度可以应用于衡量待查询词与文本之间的相似度、向用户推荐相关文本、将文本按类别分类、评估文本质量和检索相关答案等。

计算文本相似度的方法包括：基于规则的方法，根据领域知识和专家经验构建规则库，再根据规则进行匹配和计算文本相似度；基于统计的方法，通过计算词频、tf-idf值、余弦相似度等统计量来计算文本相似度；基于深度学习的方法，使用神经网络从大量数据中学习文本表示以计算文本相似度。

但是，以上方法存在很多问题，比如规则库难以涵盖全部情况，对于罕见的情况需要人工干预；基于统计无法处理词义不同但是意思相同的情况，还容易受到噪声和稀疏数据的影响；深度学习需要大量的数据来训练和调整模型，模型复杂度较高导致模型的解释性较差。因此，亟需一种文本相似度计算方法解决上述问题。

发明内容

本申请实施例提供了一种跨模态的文本相似度比较方法、装置及电子设备，能够解决上述的问题。

第一方面，本申请实施例提供了一种跨模态的文本相似度比较方法，所述方法包括：

获取待比较的第一文本和第二文本；

分别识别所述第一文本和所述第二文本的文本内容类型，并根据识别结果确定待转换的模态；所述文本内容类型包括以下类型中的至少一种：空间、时间、结构、包含关系、上下级关系、音量、情感、数量、重要性、快慢；所述模态包括：图像、视频、音频；

将所述第一文本进行模态转换，得到第一转换内容；所述模态转换具有时间一致性，即在不同的时间对同一文本进行模态转换得到的转换内容相同；

将所述第二文本进行模态转换，得到第二转换内容，所述第一转换内容和所述第二转换内容的模态相同；

比较所述第一转换内容和所述第二转换内容，根据比较结果确定所述第一文本和所述第二文本的相似度。

在一种可选的设计中，所述模态转换还包括：根据所述识别结果，将一个文本的至少部分内容分别转换为至少两种其他类型的模态表示的内容。

在一种可选的设计中，还包括：

计算所述第一转换内容和所述第二转换内容的相似度，基于所述相似度确定所述第一文本和所述第二文本的相似度。

在一种可选的设计中，还包括：

比较所述第一转换内容和所述第二转换内容，得到差异特征，根据所述差异特征确定所述第一文本和所述第二文本的相似度。

在一种可选的设计中，还包括：

根据所述至少两种其他类型的模态表示的内容计算相似度，得到至少两种相似度，根据所述至少两种相似度确定所述第一文本和所述第二文本的相似度。

在一种可选的设计中，还包括：

将所述第一转换内容转换为第三文本；

将所述第二转换内容转换为第四文本；

根据所述第三文本和所述第四文本确定所述第一文本和所述第二文本的相似度。