[发明专利]一种基于对比学习的新闻文本与评论相关性分析方法

权利要求书

1.一种基于对比学习的新闻文本与评论相关性分析方法，其特征在于，包括以下步骤：

Step1：使用分词工具对新闻文本进行分词、去除停止词和词性标注操作，将新闻文本拆分为带有词性标注的词序列,然后使用正则表达式对词序列进行匹配，组成名词短语，将这些短语作为候选关键词；

Step2：将新闻文本分成m个句子，使用BERT预训练模型对每一个句子进行编码，得到句子的向量表示并使用嵌入对齐的方法来保持文本的上下文语义以及获取候选关键词NP_i的词向量

Step3：通过余弦相似度计算得到每一个候选关键词与文本的相似度，然后通过softmax归一化，并结合候选关键词与新闻标题的相似度，得到所有关键词与新闻文本的相似度，接下来选取相似度最高的k个词与新闻标题拼接得到的文本作为新闻文本的表示D；

Step4、使用dropout方法对BERT预训练模型进行随机失活，并使用该模型对新闻文本的表示D_i进行处理；训练过程种使用对比学习方法微调预训练模型的参数，模型训练完成后，使用该模型对新闻文本(标题与关键词序列)和对应的评论进行编码，获得新闻文本的向量和评论的向量，之后通过计算向量之间的相似度得到评论与新闻文本的相似度，最后通过设定的相似度阈值对评论进行筛选。

2.根据权利要求1所述的一种基于对比学习的新闻文本与评论相关性分析方法，其特征在于，所述Step1的具体步骤为：

模型的输入为完整的新闻文本，使用清华大学的THULAC分词工具进行处理，实现对新闻文本的分词与词性标注，将新闻文本转化为词的序列W＝(w₁,w₂,…,w_n)；然后使用正则表达式对相邻位置的形容词与名词、名词与动词等进行拼接，组成名词短语，将这些短语作为候选关键词NP＝(NP₁,NP₂,…,NP_i)。

3.根据权利要求1所述的一种基于对比学习的新闻文本与评论相关性分析方法，其特征在于，所述Step2的具体步骤为：

设置MSL(minimum sequence length)为最小序列长度，将新闻文本分成大于或等于MSL的m个句子S＝(S₁,S₂,…,S_m)；对于每一个句子，使用BERT预训练模型获得句子的向量表示由于BERT预训练模型的self-attention机制，同一个词在不同的语境有着不同的词嵌入；因此，通过嵌入对齐的方法来保持文本的上下文语义以及获取候选关键词NP_i的词嵌入；候选关键词NP_i的词嵌入如公式(1)所示：

其中NP_i表示当前关键词，S_j表示包含当前关键词的句子，表示当前关键词NP_i在第j个句子中的词嵌入，n表示包含当前关键词NP_i的句子总数。