[发明专利]一种基于傅里叶变换的文档相似判别方法

权利要求书

1.一种基于傅里叶变换的文档相似判别方法，其特在于：所述方法包括以下步骤：

步骤1：获得文档集合S的关键词序列Ks和对应的关键词次数集合Ns，以及检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；

步骤2：计算关键词序列Ks和Ks'中每个关键词的权值系数，以及关键词序列Ks的权值序列FKs和关键词序列Ks'的权值序列FKs'；

步骤3：对权值序列FKs和FKs'进行傅里叶变换，并计算检测文档s′和文档集合S中任意文档是否相似的相似度距离的阀值ω_S；

步骤4：计算检测文档s′和文档集合S中文档s_i之间的相似度距离D(s′,s_i)，并将其与阀值ω_S进行比较，判定检测文档s′与文档集合S是否相似。

2.根据权利要求1所述的基于傅里叶变换的文档相似判别方法，其特在于：所述步骤1中，对文档集合S中的每个文档s_i进行划词，选取文档s_i的关键词，并记录每个关键词出现的次数，得到文档s_i的关键词序列Ks_i和对应的关键词次数集合Ns_i，进而合并得到文档集合S的关键词序列Ks和对应的关键词次数集合Ns；

同时，将检测文档s'也进行划词，并得到检测文档s′关于文档s_i的关键词集合Ks_i'和对应的关键词次数集合Ns_i'，最后合并得到检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'。

3.根据权利要求2所述的基于傅里叶变换的文档相似判别方法，其特在于：所述步骤1包括以下步骤：

步骤1-1：分别对文档集合S和检测文档s′进行划词，得到各自的分词集合，分别记为Ds和Ds'，其中文档集合S＝{s₁,s₂,s₃,......,s_n}，s_i表示文档集合S中的第i个文档，分词集合Ds＝{Ds₁,Ds₂,Ds₃,......,Ds_n}，Ds_i表示文档集合S中文档s_i的分词集合，s_i和Ds_i中的i均满足1≤i≤n；

步骤1-2：在文档s_i的分词集合Ds_i中，按分词出现的次数，选出前m个分词作为文档s_i的关键词，其中m＞0；并将关键词k_ij出现的次数记为n_ij，其中k_ij表示文档s_i中的第j个关键词；分别得到文档s_i的关键词集合Ks_i和对应的关键词次数集合Ns_i，则有Ks_i＝{k_i1,k_i2,k_i3......k_im}，Ns_i＝{n_i1,n_i2,n_i3......n_im}；

步骤1-3：计算检测文档s′关于文档s_i的关键词集合Ks_i'和对应的关键词次数集合Ns_i'；其中Ks_i'中的元素k′_ij＝k_ij，再依据公式（1）确定关键词次数集合Ns_i'中的元素n′_ij，有：

nij′=nsj′kij′∈Ds′0kij′∉Ds′(1≤i≤n,1≤j≤m)---(1)]]>

其中n'_sj为关键词k′_ij在检测文档s′中出现的次数；

步骤1-4：将所有属于文档集合S中文档s_i的关键词集合Ks_i和对应的关键词次数集合Ns_i分别进行合并，得到文档集合S的关键词序列Ks和对应的关键词次数集合Ns；

将检测文档s′关于文档s_i的关键词序列Ks_i'和对应的关键词次数集合Ns_i'分别进行合并，得到检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；

有：

Ks＝{k_ij|k_ij∈Ks_i,1≤j≤m,1≤i≤n}，Ns＝{n_ij|n_ij∈Ns_i,1≤j≤m,1≤i≤n}；

Ks'＝{k′_ij|k′_ij∈Ks_i',1≤j≤m,1≤i≤n}，Ns'＝{n′_ij|n′_ij∈Ns_i',1≤j≤m,1≤i≤n}。