[发明专利]相似文件的自动侦测方法

摘要

一种自动侦测相似文件的方法，该方法是对一文件集里的每一篇文件进行词汇断词、标点符号删除、停用词过滤、词汇正规化等前置处理，然后建立每个词汇到每篇文件的一反向索引档，接着将每一篇待比对文件同样经过上述的步骤处理后，透过反向索引档提供的索引功能，快速查阅待比对文件中每个词汇在文件集内每一篇文件出现的次数，并按照给定的相似度公式，计算出待比对文件与其他文件的相似度，如此搜集文件之间的相似度，依照给定的相似度门槛过滤后，即可侦测所有相异的相似文件。

主权项

1、一种相似文件的自动侦测方法，用以自多个测试文件中侦测出与一待比对文件具有相似内容或相似主题的多个相似文件，其特征在于该自动侦测方法包括下列步骤：依照一断词策略，将该些测试文件分别进行断词处理，获得多个断词词汇；根据该些断词词汇，建立一文件向量资讯，其中该文件向量资讯包括对应该些测试文件的多个文件向量，而每一该些文件向量包括多个分量维度及多个向量分量值；将该文件向量资讯转换为词汇到文件的一反向索引档；将该待比对文件依上述步骤，求得一待比对文件向量；选择一相似度比对法，透过该反向索引档，计算出该待比对文件与该些测试文件间的多个相似度；判断该些相似度是否高于一门槛值；以及若高于该门槛值，则将该些相似度所对应的该些测试文件视为该些相似文件。