[发明专利]一种基于并发任务的项目查重方法及系统

摘要

本发明公开一种基于并发任务的项目查重方法及系统，包括四个步骤，依托互联网技术将互联网热词、常用词语进行动态解析，形成云端词库。通过文字匹配法对申报材料中的文字信息与云端词库进行匹配，将申报材料切分为具有语义的分词因子，通过加权计算取得最佳分词方案，统计词频并排除高频率的“单字词”。将当前查重项目的分词子集和历史项目的分词子集通过余弦相似性算法CosineSimilar返回当前查重项目和历史项目的相似值。在大数据计算时，利用大容量高速内存，合理使用内存管理，减少硬盘频繁读写访问，开启并发多线程任务，充分利用系统资源，发挥CPU最大频率，以提高查重效率。

主权项

1.一种基于并发任务的项目查重方法及系统，其特征在于，包括以下步骤：步骤一、通过分布式方式处理，借用量子物理中的“电子云”(Electron Cloud)技术，利用电子云的既然性、弥漫性、同时性等特性，收集互联网上的常用词语和热度，传输至云端服务器进行动态解析，将解析的词语按照热度排列保存为云端词库。步骤二、开启并发多线程任务，通过处理器的详细信息，CPU的使用率，内存使用率并结合并发参数(default＝2)，计算可开启的并发线程数量Num_Threads，保留核心线程以保证系统的正常运行，对于后续步骤中出现大批量数据计算时系统都将自动采用并发多线程任务，充分利用系统资源，发挥CPU最大频率，以提高查重效率。步骤三、将当前查重的申报材料拆分为段落集合，其中Cur_Sen是申报材料的段落集合；Sen_1，Sen_2，…，Sen_n是拆分的段落。通过正向匹配法并结合云端词库，将每个段落解析为具有语义分词的集合，其中Cur_Sen_i_F是正向匹配法的段落分词集合；Word_1，Word_2，…，Word_n是将段落拆分的分词；i＝1，2，…，n是段落的索引index。通过词库中的热度计算匹配加权得分，其中Cur_FScore为正向匹配法段落的加权总分数；sum{hot(Word_i)^2}是通过hot函数计算分词的加权分数，然后通过sum函数计算合计数；i＝1，2，…，n是分词的索引index。对于词库中不存在的词语则设置匹配加权得分为0。通过逆向匹配法并结合云端词库，将每个段落解析为具有语义分词的集合，其中Cur_Sen_i_R是逆向匹配法的段落分词集合；Word_1，Word_2，…，Word_n是将段落拆分的分词；i＝1，2，…，n是段落的索引index。通过词库中的热度计算匹配加权得分，其中Cur_RScore为逆向匹配法段落的加权总分数；sum{hot(Word_i)^2}是通过hot函数计算分词的加权分数，然后通过sum函数计算合计数；i＝1，2，…，n是分词的索引index。对于词库中不存在的词语则设置匹配加权得分为0。最后取分词得分最大或分值相同时取前者的分词方案。Max_Score＝max{Cur_FScore，Cur_RScore}，循环计算直到所有段落计算完毕，将分词集合保存到数据库中为今后重复利用。同理，历史项目中的申报材料如果分词结果为空时，也采用步骤三的方法对申报材料进行解析，计算最佳分词方案并存储到数据库中。步骤四、通过统计分词算法将当前查重项目分词因子和历史项目的分词因子标记索引求出集合，统计词频并排除高频率的“单字词”(如“的”、“地”、“了”等)。其中Cur_Word_Index是待查重项目的分词词频集合；W_ID_1，W_ID_2，…，W_IN_n是分词因子索引；Num_1，Num_2，…，Num_n是分词的词频。其中His_Word_Index是历史项目的分词词频集合；W_ID_1，W_ID_2，…，W_IN_n是分词因子索引；Num_1，Num_2，…，Num_n是分词的词频。通过哈希表的Map接口计算当前查重项目的词频向量c0＝[Num_1，Num_2，…，Num_n]和历史项目的词频向量c1＝[Num_1，Num_2，…，Num_n]，将词频向量结果构建并集，其中Index为每个分词因子的索引号；通过余弦相似性算法CosineSimilar返回当前查重项目和历史项目的相似值，相似值越接近于1则相似度越高。