[发明专利]一种中文文本相似度的检测方法及检测装置

摘要

本发明公开一种中文文本相似度的检测方法及检测装置，所述检测方法包括：步骤一：对中文本中的各个高频字进行拆分，获得多个部件及各部件之间的关联频次；步骤二：根据所述多个部件及各部件之间的关联频次，绘制对应中文文本的部件关联图；步骤三：基于所述中文文本的部件关联图，计算待检测文本与参照文本的相似度。本发明中文文本相似度的检测方法通过中文本中的各个高频字进行拆分，构建部件关联图，进而根据部件关联图，确定待检测文本与参照文本的相似度；部件之间相互关联组成汉字，以部件关联图作为相似度检测依据可以有效提高文件相似度检测的检测精度。

主权项

1.一种中文文本相似度的检测方法，其特征在于，所述检测方法包括：步骤一：对中文本中的各个高频字进行拆分，获得多个部件及各部件之间的关联频次；步骤二：根据所述多个部件及各部件之间的关联频次，绘制对应中文文本的部件关联图；步骤三：基于所述中文文本的部件关联图，计算待检测文本与参照文本的相似度；所述部件关联图的包括单个部件的部件关联簇图和整个文本的部件关联全图；其中，所述基于所述中文文本的部件关联图，计算待检测文本与参照文本的相似度的方法包括：步骤31：根据以下公式确定待检测文本B与参照文本A中相同部件i的部件关联簇图的相似度sim(Ci,Ci')：其中，i、k分别表示中文文本中部件号，i＝1,...,n、k＝1,...,n、i≠k，Ci表示参照文本A中第i号部件，C′i表示待检测文本B中第i号部件，Wik表示参照文本A中第i号部件与第k号的关联频次，W′ik表示待检测文本B中第i号部件与第k号的关联频次，min(Wik,W′ik)表示待检测文本B与参照文本A中分别第i号部件与第k号部件关联频次的最小值，∑Wi表示参照文本A中所有第i号部件关联频次的总和，×1{Ck＝C'k}表示若待检测文本B与参照文本A中第i号部件都同时与第k号部件关联，则将关联度加入第i号部件的关联簇结果中，否则忽略；步骤32：根据以下公式确定待检测文本B中全部部件的部件关联簇图相似度的比例和sim(C,C')：其中，表示在待检测文本B与参照文本A中第i号部件的部件关联簇图的相似度占待检测文本B中部件关联簇图相似度的比例；步骤33：根据以下公式确定待检测文本B与参照文本A中的部件关联全图的相似度sim(CRM(A),CRM(B))：其中，CRM(A)∩CRM(B)表示待检测文本B与参照文本A中部件关联的相同部分，CRM(A)∪CRM(B)表示待检测文本B与参照文本A中部件关联的总和，表示待检测文本B与参照文本A分别第i号部件关联与其他部件的关联频次之和的最小值，表示待检测文本B与参照文本A中分别第i号部件关联与其他部件的关联频次之和的最大值，×1{C_i＝C_i'}表示若待检测文本B与参照文本A中都有第i号部件才对其进行计算，否则忽略，表示所有在参照文本A中出现但在待检测文本B中不出现的部件j与其他部件的关联频次之和，乘以部件号，再求和，表示所有在待检测文本B中出现但在参照文本A中不出现的部件j与其他部件的关联频次之和，乘以部件号，再求和；步骤34：根据以下公式确定计算待检测文本B与参照文本A的相似度sim(A,B)：sim(A,B)＝α×sim(C,C')+(1‑α)×sim(CRM(A),CRM(B))‑‑‑‑‑(6)；其中，α为系统参考系数。