[发明专利]相同或相似文件的过滤方法

说明书

技术领域

本发明涉及一种文件的过滤方法，特别是涉及一种利用电脑在多篇文件中过滤相同或相似文件并予以做群集分类的方法。 

背景技术

电脑及因特网的快速发展，使得待处理的信息量迅速的爆增，使用者经常利用电脑在庞大的文件档案或是因特网的中寻找需要的数据或信息；因特网中的搜寻引擎(searching engine)就是一种帮助网络使用者在庞大的因特网中快速搜寻数据的工具。 

一般而言，搜寻引擎会把符合检索关键词的搜寻结果全部呈现给使用者，即使是内容相同的网页也会全部呈现，并不作任何的过滤处理，虽然有少部份的搜寻引擎会搜寻的结果进行过滤，但是近似高的网页仍然很容易一再地重复出现，对使用者而言，将会把时间浪费在阅读重复的内容，并且降低了数据搜寻的便利性。 

在已公开的中国发明专利CN10109348提出了一种《网页重复内容过滤方法》，包括文件服务器、网页内容提取服务器、网页过滤服务器、爬虫服务器，其中利用爬虫服务器抓取网页的数据再交由网页内容提取服务器分析，将内容提取出来并使用哈希算法(Hash Algorithm)生成哈希码(Hash Code)，然后把哈希码和内容、抓取的时间等信息一起存入文件服务器，而网页过滤服务器分析内容服务器中的信息，对每个由步骤b中获得的哈希码出现冲突的网站中出现冲突的数量，对冲突的数量和该网站的网页数量设定一个阀值，如果一个网站的冲突的数量和该网站的网页数量高于该阀值，则直接通知爬虫服务器，禁止该网站，并过滤掉该网页的所有内容，如果低于该阀值而且抓取的时间较早，则提高该网页的重要性，否则降低该网页的重要性或过滤掉。 

发明内容

本发明的目的的一是提出一种在多篇文件的中找出文件内容彼此相同或是近似程度高的文件并予以做群集分类的方法。 

本发明的另一目的是在找出彼此相同或是近似程度高的文件之后，将多篇相同文件中的任一篇显示于搜寻的结果中，而不显示其余被标记为相同或近似的文件。 

为达上述目的，本发明一种相同或相似文件的过滤方法，利用电子设备实施下列步骤，其可于多篇文件中找出文件内容彼此相同或是近似程度高的文件并予以做群集分类，该方法包括： 

a、读取多篇待过滤的文件； 

b、将多篇待过滤的文件的数据结构进行转换，并合并储存为预设的数据结构文件； 

c、设定一低门坎值，表示连续字符长度的最小长度； 

d、设定一高门坎值，表示连续字符长度； 

e、搜寻该数据结构文件中连续字符长度达到该低门坎值的所有字符串节点，该字符串节点内储存有所出现的文件的文件编号； 

f、将每一个被找出的该字符串节点内储存的该文件编号记录为一字符串群；及 

g、对该字符串群中的全部文件编号所指向的文件设为第一类文件，以该字符串节点内所储存的字符串内容为前缀去寻找连续字符长度大于或等于该高门坎值的字符串节点，若存在此字符串节点，将此连续字符长度大于或等于高门坎值的字符串节点所储存的字符串群皆标示为彼此相同或是近似程度高的文件。 

所述过滤方法还包括下列步骤： 

h、在该第一类文件构成的群集中寻找一第二类文件，该第二类文件是第一类文件中连续字符长度尚未达到该高门坎值的文件所组成的群集； 

i、设定一比率门坎值；及 

j、在该第二类文件的群集中寻找相同的连续字符长度占有文件内容总字符长度的比率达到该比率门坎值的文件，将该些被找出的文件设为内容彼此相同或是近似程度高的文件。 

该步骤a之前还包括有一个先将该多篇待过滤的文件内容进行自动摘要 处理，产生摘要文件，读取多篇待过滤的摘要文件，将多篇待过滤的摘要文件执行步骤b。 

还包括有一个将该多篇待过滤的文件内容进行同义字处理的步骤。 

所述过滤方法还包括将该多篇摘要文件的内容进行同义字处理的步骤。 

所述过滤方法还包括有一个将该多篇待过滤的文件内容进行去除标点符号处理的步骤。 

在找出彼此相同或是近似程度高的文件之后，还包括有一个将该多篇相同文件中的任一篇显示于搜寻的结果中，而不显示其余被标记为相同或近似的文件的步骤。 

该文件为网页、文本文件、数据库内容和以其它方式储存的形态的数据的其中一种。 

该数据结构文件为pat tree数据结构或字符树数据结构。