[发明专利]文本消重系统、方法、服务器及计算机存储介质

摘要

本发明公开了一种文本消重系统、方法、服务器及计算机存储介质，包括：预处理模块，用于对待消重的各个文本进行预处理并确定与各个文本对应的关键词；存储模块，用于存储经预处理后的各个文本并设置用于查询各个文本的倒排索引表；消重模块，用于获取至少一个待消重文本并确定与其对应的关键词，通过倒排索引表确定包含上述关键词的至少一个待比对文本，针对待消重文本以及待比对文本进行消重处理；分布式锁模块，用于进行消重处理前，通过分布式锁对待消重文本以及待比对文本进行加锁操作；并在消重处理后释放分布式锁。本发明中的方案能够有效提高文本消重的准确性及处理效率，优化文本消重的处理过程。

主权项

一种文本消重系统，包括：预处理模块，用于对待消重的各个文本进行预处理，根据预处理结果确定各个文本对应的关键词；存储模块，用于存储所述预处理模块预处理后的各个文本，并设置用于查询各个文本的倒排索引表；其中，所述倒排索引表用于存储各个关键词及其对应的文本之间的映射关系；消重模块，用于从所述存储模块中获取至少一个待消重文本，确定所述待消重文本对应的关键词，通过所述倒排索引表确定包含所述待消重文本对应的关键词的至少一个待比对文本，针对所述待消重文本以及所述待比对文本进行消重处理；分布式锁模块，用于在所述消重模块进行消重处理前，通过分布式锁对所述存储模块中存储的所述待消重文本以及所述待比对文本进行加锁操作；并在所述消重模块进行消重处理后释放所述分布式锁。