[发明专利]一种内容无关的文本快速过滤方法

摘要

本发明涉及计算机信息检索领域，具体涉及一种应用于图书馆信息检索、抄袭检测、著作权侵权检测等场合中的内容无关的文本快速过滤方法。使用分隔符将母文本A和目标文本B各自分割成系列片段，对每一文本片段使用能值函数求值，所述能值函数与文本内容无关且与文本包含的噪声正相关；在求得的母文本A和目标文本B的能值中，将小于预定义能值阈值H的量滤去，得到能值序列N与M；对M作自相似分析；在允许误差约束下将M与N作匹配比较，如果穷尽N，目标文本B与母文本A的任意一部分内容的匹配度均低于阈值，则目标文本B被排除。使用本发明的文本快速过滤方法，避免了对文本内容的分析，计算量小，过滤速度快，且可以屏蔽部分噪声影响。

主权项

1.一种内容无关的文本快速过滤方法，用于对含有噪音的目标文本B，当其与母文本A中的任意一部分内容匹配度低于匹配阈值时，将其快速排除，其中A＝(a₁a₂...a_i...a_x)，B＝(b₁b₂...b_i...b_y)，a_i∈S,b_i∈S且x＞y，S为出现在母文本A和目标文本B中的所有符号的集合，包括但不限于文字、字母、标点、数理记号、分段符、换行符，其特征在于，包括如下步骤：S1、定义能值函数F(c_pc_p+1...c_q)＝q‑p+1,其中，c_i∈S，p≤i≤q，所述能值函数的函数值是与文本内容无关但与文本包含的噪声正相关的实数，预定义能值阈值为H；并定义能值序列N和M，所述能值序列中的元素为所述能值函数的函数值，所述能值序列N和M初始时为空；S2、定义有限集合L＝{l|l＝(l₁l₂...l_t),l_i∈S,t≥1}，其中，l为在S中任意选取的分隔符和/或标点符号组成的长度大于等于1的序列；定义L的子集L’,即L'＝{l'|l'＝(l'₁l'₂...l'_t),l'_i∈S,t≥1}，令l'∈L'；S3、以l对母文本A作分割，即A＝(a₁a₂...la_s...a_tl...a_x)，从左至右对每一个片段(a_s...a_t)使用所述能值函数求值：n＝F(a_s...a_t)＝t‑s+1；如果n≤H，忽略n；如果n＞H，则将n加入能值序列N的末尾；如此处理母文本A后得到能值序列N＝(n₁n₂...n_z),z＜＝x；S4，以l'对目标文本B作分割，即B＝(b₁b₂...l'b_u...b_vl'...b_y)，从左至右对每一个片段(b_u...b_v)使用所述能值函数求值：m＝F(b_u...b_v)＝v‑u+1；如果m≤H，忽略m；如果m＞H，则将m加入能值序列M的末尾；如此处理目标文本B后得到能值序列M＝(m₁m₂...m_w),w＜＝y；S5、对所述能值序列M作自相似性分析，得到M的自相似性序列为R_M＝(r₁r₂...r_i...r_w)，其中r_i为整数且r_i∈[0..w]；S6、预定义能值误差上限e和累积误差上限E；取i的初值为1，g的初值为0，将能值序列M＝(m₁m₂...m_w)与N＝(n_in_i+1...n_i+w‑1)从左到右按序作比较，即，当变量j从1增加至w时，对每个j：a.如果|m_j‑n_i+j‑1|＞e，且i＝z‑w+1，则认为目标文本B与母文本A中的任意一部分内容匹配度低于匹配阈值，排除目标文本B；b.如果|m_j‑n_i+j‑1|＞e，且i≠z‑w+1，则令i＝i+j‑1‑r_j，并令g＝0，变量j加1后继续进行比较；c.如果|m_j‑n_i+j‑1|≤e，则令g＝g+|m_j‑n_i+j‑1|；若g>E且i＝z‑w+1，则认为目标文本B与母文本A中的任意一部分内容匹配度低于阈值，排除目标文本B；若g>E，且i≠z‑w+1，则令i＝i+j‑1‑r_j，并令g＝0，变量j加1后继续进行比较；若变量j增加至w后，目标文本B仍未排除，则保留目标文本B；B是否与A匹配取决于后续的内容相似度比较。