[发明专利]一种基于多样性模型的文本相关性判定方法、装置和设备

权利要求书

1.一种基于多样性模型的文本相关性判定方法，其特征在于，包括：获取第一文档与第二文档，分别进行预处理，其中，所述预处理包括去除特殊符号和乱码；将预处理后的第一文档和第二文档合并转化为数字序列，输入至少两个预训练模型中，其中，所述至少两个预训练模型包括BERT、BERT-wwm、RoBERTa-large和RoBERTa-large-wwm中的任意两个或多个；所述至少两个预训练模型分别获取合并后数字序列的向量，包括句向量和字向量，并加入噪声层分别获得对应的特征向量，具体包括：从合并后数字序列的向量中得到CLS位置的句向量H₀，以及序列的隐藏向量H₁,H₂,...,H_K，对序列的隐藏向量进行平均池化和最大池化操作，得到平均池化后的向量H_ave和最大池化后的向量H_max；使用前馈神经网络和softmax函数求取隐藏向量H₁,H₂,...,H_K的权重α₁,α₂,...α_K，其中，所述g_i＝linear(H_i)，linear为前馈神经网络；对各个隐藏向量加权求和将H₀、H_ave、H_max和H_att拼接为一特征向量H＝[H₀,H_ave,H_max,H_att]；将所述特征向量分别送入softmax函数，获得各自的相关性矩阵，其中，所述相关性矩阵是四列概率矩阵，每列概率分别表示相关性大小；将所述各自的相关性矩阵加权求和，获得相关性判断结果，其中，将所述各自的相关性矩阵加权求和为其中，N为预训练模型的种类数，N≥2，j是预训练模型序号，S_j表示预训练模型j的相关性矩阵，w_j是预训练模型j的先验权值，并且

2.根据权利要求1所述的方法，其特征还在于，所述对第一文档和第二文档分别进行预处理还包括，分别根据所要输入的所述至少两个预训练模型的各自的要求，截取部分内容。