[发明专利]一种基于图神经网络的习题文本相似度检测方法和装置

说明书

本申请涉及一种基于图神经网络的习题文本相似度检测方法和装置。所述方法包括：获取第一习题文本和第二习题文本，并对第一习题文本和第二习题文本进行预处理；将预处理后的第一习题文本转化为第一图结构，并将预处理后的第二习题文本转化为第二图结构；利用训练好的多级图神经网络对第一图结构进行处理得到第一多重结果，并对第一多重结果进行拼接得到第一向量；利用训练好的多级图神经网络对第二图结构进行处理得到第二多重结果，并对第二多重结果进行拼接得到第二向量；计算第一向量与第二向量之间的余弦距离，得到第一习题文本和第二习题文本之间的相似度。本申请所述方法得到的相似度更为精准，进而提升了习题文本之间比较的效率和精度。

技术领域

本申请涉及文本及语义识别技术领域，具体来说，本申请涉及一种基于图神经网络的习题文本相似度检测方法和装置。

背景技术

文本相似度，即计算两个文本之间的字面或者语义上的相似性，其作为自然语言处理领域中的常用算法，在如互联网+教育场景等相关应用场景下有着重要的应用。目前常见的文本相似度的算法主要分为两大类，基于字符的字面匹配和基于词向量的语义匹配。基于字面匹配一般忽略了上下文的语序，根据输入的文本字符的相似度进行判断，其更多考虑整篇文章的整体结构；基于词向量更多应用在短文本的相似度上，首先将每个词通过训练模型得到对应词向量，然后将每个词向量依照语序聚合起来得到整个文本的语义信息，最后再计算两个文本之间的距离。

然而上述方法存在一定的局限性。基于字面匹配一般更多关注句子中整体的信息，却往往忽略词与词之间的相对位置，因而更多用在主题抽取中，此外由于字面匹配并没有考虑语义方面的信息，对近义词和同义词方面并没有进行特殊的处理，因而效果往往较差。而对于词向量算法，一方面它的输入会根据语序进行，因而对更多会关注于局部而非整体，其资源的消耗远超于字面的匹配，推理速度也略低于基于字面的算法，但其效果不一定更好；同时，尽管基于词向量的方法能够从语义层面上进行解析，但在长文本中，由于文章的信息量足够多，而且引入语义的信息也会引入一定的误差传递，从而导致准确率的下降。

发明内容

基于上述技术问题，本发明基于消息传递框架搭建多级图神经网络模型，所述多级图神经网络包括一级图神经网络至Z级图神经网络，其中，Z为大于1的自然数，且前一级图神经网络的输出作为下一级图神经网络的输入，这样消息传递所传递的是结点和邻居的边的权重，使最后得到的向量既包含习题文本的局部信息又包含全局信息。两个或多个习题文本都经过多级图神经网络处理得到的向量再求二者的余弦距离，得到两个或多个习题文本相似度。

本发明第一方面提供了一种基于图神经网络的习题文本相似度检测方法，所述方法包括：

获取第一习题文本和第二习题文本，并对所述第一习题文本和所述第二习题文本进行预处理；

将预处理后的第一习题文本转化为第一图结构，并将预处理后的第二习题文本转化为第二图结构；

利用训练好的多级图神经网络对所述第一图结构进行处理得到第一多重结果，并对所述第一多重结果进行拼接得到第一向量；

利用训练好的多级图神经网络对所述第二图结构进行处理得到第二多重结果，并对所述第二多重结果进行拼接得到第二向量；

计算所述第一向量与所述第二向量之间的余弦距离，得到所述第一习题文本和所述第二习题文本之间的相似度。

优选地，所述获取第一习题文本和第二习题文本，并对所述第一习题文本和所述第二习题文本进行预处理，包括：

获取第一习题文本和第二习题文本；

将所述第一习题文本和所述第二习题文本中的无效文本去除；

对去除无效文本后的第一习题文本和第二习题文本进行文本归一化。