[发明专利]基于数字指纹和语义特征的新闻文本侵权检测方法与装置

摘要

本发明公开了一种基于数字指纹和语义特征的新闻文本侵权检测方法与装置，能够通过检测文本相似性实时检测各大新闻媒体网站的新闻是否有侵权行为。本发明首先通过互联网采集新闻文本样本数据，并在新闻原文基础上构造出的侵权样本；然后利用word2vec模型实现新闻文本统一坐标系化，基于改进的局部敏感哈希方法提取文本指纹特征；接着基于长短时记忆循环神经网络模块，利用三元组损失学习文本语义特征；最后通过计算数字指纹特征和语义特征融合的相似度来判断文本是否有侵权。与现有技术相比，本发明将词语义嵌入到指纹中，更易检测出抄袭行为，并且同时利用数字特征和语义特征进行新闻文本相似度检测，能够有效提高新闻文本侵权检测的准确率。

主权项

1.一种基于数字指纹和语义特征的新闻文本侵权检测方法，其特征在于，所述方法包括：(1)通过互联网采集多个类别的新闻文本，积累样本数据集；所述数据集中的样本包括新闻文本原文以及根据抄袭规则在新闻文本原文基础上构造出的新闻文本侵权样本；(2)基于改进LSH方法计算文本数字指纹特征，包括：利用word2vec模型计算新闻文本的词向量，并计算词语的TF值和IDF值，以TF值和IDF值的乘积TF‑IDF值作为文本中相应词向量的权重进行加权求和后作为新闻文本的数字指纹特征；(3)根据样本数据集构建三元组数据，将三元组数据作为LSTM网络模型的输入，利用三元组损失学习文本语义特征；其中一个三元组数据包括Anchor实例、Positive实例和Negative实例，Anchor实例为新闻文本原文、Positive实例为基于新闻文本原文构造的侵权样本、Negative实例为与Anchor实例报道相同事件但未侵权的新闻文本原文；(4)将根据步骤(2)中方法计算得到的待检测新闻文本的数字指纹特征和基于步骤(3)中训练好的LSTM网络模型提取得到的待检测新闻文本的语义特征进行融合，计算待检测新闻文本融合特征与经过版权认证的版权库中新闻文本的融合特征的相似度，进而判断待检测新闻文本是否存在侵权行为。