[发明专利]一种基于融合模型算法的文本去重方法

权利要求书

1.一种基于融合模型算法的文本去重方法，其特征在于，包括以下步骤：

S1：新闻预处理，检验一致性；

S2：计算任意两篇新闻的两两之间的相似度；

S3：使用混合贪婪算法进行文本去重。

2.根据权利要求1所述的一种基于融合模型算法的文本去重方法，其特征在于，所述S1步骤中新闻预处理，检验一致性的方法包括以下步骤：

S1.1：针对原始文本将html文本转换为纯文本；

S1.2：完成匹配CDATA,匹配Script,匹配style，处理换行，匹配HTML标签，匹配HTML注释，去除CDATA,Script,style，HTML标签，HTML注释，去掉多余空行，替换常用的HTML实体；

S1.3：通过MD5给标题生成数字证书，验证标题和正文的一致性，去除完全一致的新闻，使用预设的新闻媒体的权威性的评分，只保留权威媒体的新闻。

3.根据权利要求2所述的一种基于融合模型算法的文本去重方法，其特征在于，所述html指超文本标记语言，且html为标准通用标记语言下的一个应用，其中，超文本就是指页面内可以包含图片、链接，甚至音乐、程序等非文字元素，所述超文本标记语言的结构包括“头”部分和“主体”部分，其中“头”部提供关于网页的信息，“主体”部分提供网页的具体内容。

4.根据权利要求2所述的一种基于融合模型算法的文本去重方法，其特征在于，所述MD5是一种消息摘要算法，MD5为一种广泛使用的密码散列函数，可以产生出一个128位、16字节的散列值，MD5用于将整个文件当作一个大文本信息，通过其不可逆的字符串变换算法，产生了这个唯一的MD5信息摘要，确保信息传输完整一致。

5.根据权利要求1所述的一种基于融合模型算法的文本去重方法，其特征在于，所述S2步骤中计算任意两篇新闻的两两之间的相似度方法包括以下步骤：

S2.1：对正文进行中文分词，使用预设的停用词库对正文进行去除停用词；

S2.2：以词为单位，根据TF-IDF的特征处理建立词袋模型，实现文本向量化；

S2.3：正文取权重最大的前M个作为关键词,并分别记录其权值，其次取权重次大的前N个词作为描述词,并分别记录其权值；

S2.4：使用hash算法把标题，关键词句，描述词句里面的每个词变成hash值；

S2.5：通过S2.4步骤的hash生成结果，需要按照单词的权重形成加权数字串，把各个单词算出来的序列值累加，变成只有一个序列串，降维变成01串，形成最终的属于标题、关键字和描述的simhash签名；

S2.6：计算任意两篇文章的标题，关键字，描述拼接而成的simhash的相似度sim(si,sj)。

6.根据权利要求5所述的一种基于融合模型算法的文本去重方法，其特征在于，所述simhash的相似度sim(si,sj)中的si和sj分别表示两篇文章，所述似度采用余弦夹角公式计算，且相似度的最大值为1，而且相似度的最小值为0。

7.根据权利要求5所述的一种基于融合模型算法的文本去重方法，其特征在于，所述hash算法是指是把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值，且这种转换是一种压缩映射。

8.根据权利要求1所述的一种基于融合模型算法的文本去重方法，其特征在于，所述S3步骤中使用混合贪婪算法进行文本去重方法包括以下步骤：

S3.1：判断相似度是否达到阈值，若达到阈值，则进行步骤S3.2，若相似度没有达到阈值，则认为两篇文章不重复；

S3.2：所有新闻组成的相似度矩阵是建立了一个相似图的相似关系建立一个相似图G＝<V,E>；

S3.3：根据顶点V的度特点及贪婪法的思想，设计了MGA算法，最终找到最小权顶点V覆盖集；

S3.4：根据S3.3步骤找到在最小顶点权覆盖集，在文本数据集中将list中去只保留一篇权值最高的新闻结点，剩余的新闻文本均为不重复，将这些不重复的文本作为输出。