[发明专利]用于处理文本的方法和装置

权利要求书

1.一种用于处理文本的方法，包括：

获取待处理文本；

对所述待处理文本进行分句处理，形成句子集合；

对于所述句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；

根据所述句子集合中的每个句子分别与其它各句子之间的相似度，从所述句子集合中选取句子，以及根据所选取的句子生成用于表征所述待处理文本的主旨的信息。

2.根据权利要求1所述的方法，其中，所述根据所述句子集合中的每个句子分别与其它各句子之间的相似度，从所述句子集合中选取句子，以及根据所选取的句子生成用于表征所述待处理文本的主旨的信息，包括：

对于所述句子集合中的句子，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度；

根据所述句子集合中的各句子的重要度，生成用于表征所述待处理文本的主旨的信息。

3.根据权利要求2所述的方法，其中，所述根据该句子分别与其它各句子之间的相似度，确定该句子的重要度，包括：

利用基于图的算法，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度。

4.根据权利要求1所述的方法，其中，所述根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度，包括：

通过该句子对中的两个句子中的词任意两两组合，形成词组集合；

确定所述词组集合中的词组的权重；

根据所述词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度。

5.根据权利要求4所述的方法，其中，所述确定所述词组集合中的词组的权重，包括：

对于所述词组集合中的词组，利用词频-逆向文件频率算法确定词组中的词的权重，以及根据该词组中的两个词分别对应的权重，确定该词组的权重。

6.根据权利要求5所述的方法，其中，所述根据该词组中的两个词分别对应的权重，确定该词组的权重，包括：

确定该词组中的两个词分别对应的权重之和；

根据该词组中的两个词分别对应的权重之和，确定该词组的权重。

7.根据权利要求5所述的方法，其中，所述根据所述词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度，包括：

确定所述词组集合中的各词组分别对应的相关度的加权和结果；

根据所述加权和结果，确定该句子对中的两个句子之间的相似度。

8.根据权利要求1-7之一所述的方法，其中，所述利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，包括：

对于该句子对中的两个句子中的词组成的词组，确定该词组中的两个词分别作为第一词和第二词；

确定针对所述第一词所在的句子的注意力计算中所生成的所述第一词的Q向量，以及确定针对所述第二词所在的句子的注意力计算中所生成的所述第二词的K向量；

根据该词组中的第一词的Q向量和第二词的K向量，确定该词组中的两个词之间的相关度。

9.根据权利要求8所述的方法，其中，所述确定针对所述第一词所在的句子的注意力计算中所生成的所述第一词的Q向量，以及确定针对所述第二词所在的句子的注意力计算中所生成的所述第二词的K向量，包括：

利用预先训练的基于Transformer的预训练模型确定针对所述第一词所在的句子的注意力计算中所生成的所述第一词的Q向量，以及确定针对所述第二词所在的句子的注意力计算中所生成的所述第二词的K向量。