[发明专利]网络文章原创性判定方法

摘要

本发明公开了一种网络文章原创性判定方法，首先对待判定文章进行分词，得到特征词条，统计特征词条的出现频率并计算Hash值，通过出现频率和Hash值计算特征词条的权值向量，将所有特征词条的权值向量累加得到文章的权值向量，对权值向量进行降维得到文章的判定向量，计算待判定文章与数据库中参考文章的判定向量的汉明距离，根据汉明距离进行原创性判定，得到是否具有原创性的结果；如果判定得到相似文章，则需要进一步精确判定：得到待判定文章与相似文章的特征词条，构建两篇文章的特征向量，通过特征向量的相似度来进行原创性判定。本发明结合文章特征词条的出现频率和Hash值来计算网络文章之间的相似度，实现更为可靠有效的文章原创性判定。

主权项

一种网络文章原创性判定方法，其特征在于，包括以下步骤：S1：对待判定文章的文本进行分词处理，得到文章的特征词条；S2：对于待判定文章的特征词条，统计每个特征词条在文章中的出现频率，按照出现频率从大到小抽取前N个特征词条，第i个特征词条记为f_i，对应的出现频率记为d_i，其中i＝1,2,…,N，N根据实际需要进行设置；S3：对于每个特征词条f_i，使用Hash函数计算该词条的Hash值，计算结果取M位，记为H_i＝(h_i1,h_i2,…,h_iM)，其中M＝2^α，α≥5；S4：根据每个特征词条f_i的权重d_i和Hash值H_i，计算特征词条的权值向量W_i＝(w_i1,w_i2,…,w_iM)，其中第j个权值元素w_ij的计算公式为j＝1,2,…,M；S5：将N个特征词条的权值向量W_i按位累加，得到权值向量Q＝(q₁,q₂,…,q_M)，其中对权值向量Q进行降维，得到判定向量S＝(s₁,s₂,…,s_M)，其具体方法为：$s_j=\left\{\begin{array}{cc}1,& q_j\>0\\ 0,& q_j\≤0\end{array}\right.$S6：计算待判定文章的判定向量S与数据库中参考文章的判定向量的汉明距离；如果待判定文章的判定向量与所有参考文章的判定向量的汉明距离都大于T₁，则判定待判定文章具有原创性，判定结束；如果与一篇以上参考文章的判定向量的汉明距离在范围[T₂,T₁]内，则将这些参考文章作为待判定文章的相似文章，进入步骤S107；如果与一篇以上参考文章的判定向量的汉明距离小于T₂，则将这些参考文章作为待判定文章的雷同文章，判定待判定文章不具有原创性，判定结束；T₁和T₂是预先设置的两个汉明距离阈值，其中T₂＜T₁；S7：对于待判定文章及其对应的相似文章，分别获取每篇文章的特征向量，获取特征向量的方法为：对文章进行分词处理，得到文章的特征词条，统计各个特征词条在文章中的出现频率，按照出现频率从大到小抽取前R个特征词条，第r个特征词条记为f_r，对应的出现频率记为d_r，其中r＝1,2,…,R，R根据实际需要进行设置；分别计算待判定文章和每篇相似文章的相似度，相似度计算方法为：记待判定文章的特征词条集合为A，相似文章的特征词条集合为B，求取两个集合的并集C＝A∪B，根据特征词条集合C构建待判定文章的特征特征向量V_a＝(v_a1,v_a2,…,v_aK)和相似文章的特征向量V_b＝(v_b1,v_b2,…,v_bK)，其中K表示特征词条集合C中的特征词条数量，v_ak和v_bk分别表示第k个特征词条在待判定文章和相似文章中的出现频率，k＝1,2,…,K；计算特征向量V_a和V_b之间的相似度，该相似度即为文章间的相似度；如果待判定文章与一篇以上相似文章的相似度大于预设相似度阈值T₃，则将这些相似文章作为待判定文章的雷同文章，判定待判定文章不具有原创性，判定结束。