[发明专利]基于排序的抄袭检测文本匹配方法

摘要

基于排序的抄袭检测文本匹配方法，涉及抄袭检测技术领域。本发明为了实现高模糊抄袭的检测，解决基于启发式方法依赖专家经验、无法融合抄袭检测中各类有效的特征的问题。将抄袭文本的匹配形式化为一个排序任务，给出一个可疑文本片段，该方法应用基于序对的排序学习方法获得源文档中该片段最可能抄袭的片段。本发明引入机器翻译的评价指标METEOR来捕获词汇相似和语义相似。应用PAN2012和PAN 2013的抄袭检测数据集对该方法进行了评价，并与PAN2013、2013和2014评测中获得最好性能的方法进行了比较。在高模糊抄袭和总结抄袭子集上，本发明相对基线方法在评价指标Plagdet上分别提高了22％和43％。本发明方法时间效率也优于基线方法。

主权项

1.一种基于排序的抄袭检测文本匹配方法，其特征在于，所述方法的实现过程为：步骤1、构建基于排序的抄袭文本匹配模型：设f为基于排序的抄袭文本匹配模型，f是关于的线性函数，定义如下：其中，称f为基于排序的抄袭文本匹配模型；表示利用源文档片段与抄袭文档片段对所构建的描述源文档片段与抄袭文档片段抄袭程度的特征向量，表示权重向量，将使用基于序对的排序学习的方法获得；将基于步骤2获取，将基于步骤3的学习算法获得；步骤2、基于METEOR评价指标提取排序特征给出可疑文档d_plg中的片段s_i，将选择s_i的抄袭源形式化为给定一个可疑文档的片段s_i，对源文档的片段列表d_src＝{(r₁,r₂,......,r_q)}的每个文本片段r_j，利用机器翻译评价指标METEOR的精确率Precision、召回率Recall、F1值、F均值Fmean、惩罚度Penalty和METEOR得分METEOR Score六个评价指标构建特征向量将作为排序学习的特征向量；的每一维为METEOR的一个评价指标，分别为Precision、Recall、F1、Fmean、Penalty和METEOR Score；其计算方法如表1的公式所示：表1基于METEOR的特征步骤3、根据抄袭文本匹配的排序算法，学习排序模型f，获得权重向量具体过程为：定义和是一对文本片段(s_i,r_u)和(s_i,r_v)的特征向量，y_i,u和y_i,v分别表示s_i与r_u以及s_i与r_v的抄袭程度；用＞表示偏序关系，如果表示对于可疑文档片段s_i，r_u排序在r_v前面，即下列不等式成立：对于偏序关系如果则模型f发生了一个错误；因此，损失函数应该与定义在训练数据集上的排序错误相关；排序错误发生在f将一个非抄袭匹配文档对排在抄袭匹配文档对之前，即：其中，如果π是真，则[[π]]为0，否则[[π]]为1；最小化式(3)意味着排序学习系统应该在假设空间H上学习一个排序函数f∈H，使得f在训练数据T的n个可疑文档片段上，最大化下列不等式的数目：直接优化上述问题被证明是NP难的；使用松弛变量(非负)式(4)可被表示为：进一步的，等式(5)可被重写为：用新的向量表示偏好关系令z表示r_u和r_v，的排序，则有：根据r_u和r_v的排序，赋予向量一个正的标签z＝+1或一个负的标签z＝‑1；由此，式(6)的优化问题转化为在序对上的分类问题；等式(7)等价于在序对向量上解决下面的二次最优化问题：最小化:使得:if y_u,v,k＝1,ξu,v,k≥0,k＝1,...,n其中，项控制模型的复杂度；式(8)为：使用定义在文档序对上的Hinge损失，对于可疑文档片段s_i，x_i,u为抄袭匹配对应的向量，x_i,v不是抄袭匹配对应的向量，y_u,v＝1，那么如果以边界1大于则没有损失，否则，损失为ξ_u,v,k；对于经Ranking SVM学到的优化向量则最终的排序函数f为：式中，表示源文档片段与抄袭文档片段对的特征向量，表示算法学到的最优的权重向量，表示最优权重向量与特征向量的线性组合。