[发明专利]一种基于核函数的文档相似检测方法

权利要求书

1.一种基于核函数的文档相似检测方法，其特征包括以下步骤：

输入及预处理步骤：构造文档集合，即文集，文集中所有的词项组成的集合为词典，大小为N；将待比对的文档dX和dZ经过特征映射后进行向量表示成文本向量x和z；

核函数构造步骤：结合文档相似检测过程中的具体实际，通过两文本向量间的乘积和欧氏距离来描述二者的相似程度，从而构造适合文档相似检测的新的S_Wang核函数k(x,z)=xTzxTz+||x-z||2σ;]]>

相似计算步骤：通过构造的核函数计算文本的相似度，从而进行文档相似检测。

2.如权利要求1所述的基于核函数的文档相似检测方法，其特征在于所述的核函数构造步骤具体如下：

2a)当词典中某一词t_i在某一篇文档中未出现，即对应的向量维数位置值为0，则认为该词对两篇文档相似的贡献值为0，如果待比对的两篇文档没有共同的词，则认为该两篇文档的相似度为0，于是考虑利用两个行向量对应维数相乘xz^T的形式来计算其相似度，作为构造的核函数的分子；

2b)当某一词t_i在两篇待比对的文档中词频统计结果差值|tf(t_i，x)-tf(t_i，z)|越大，表明两篇文档越不相似，该词t_i使相似程度的计算结果越小，用||x-z||²表明两篇文档之间由于词语不同产生的欧氏距离，且将其置于构造的核函数的分母上；

2c)当两篇文档dX和dZ完全相同，则有x＝z，此时有||x-z||＝0，且有xz^T＝1；

当两篇文档完全相同的时候其相似度计算值应为1，于是考虑构造的核函数的分母形式为xz^T+||x-z||²；

2d)用宽度参数σ(σ＞0)来控制函数的径向作用范围，调节由于词语不同导致两篇文档距离对相似度的影响程度。

3.如权利要求1所述的基于核函数的文档相似检测方法，其特征在于所述输入及预处理步骤中的的特征映射为φ₁

φ₁：x→φ₁(x)＝(tf(t₁，x)，tf(t₂，x)，...，tf(t_N，x))∈R^N，

φ₁：z→φ₁(z)＝(tf(t₁，z)，tf(t₂，z)，...，tf(t_N，z))∈R^N。