[发明专利]文本消重系统、方法、服务器及计算机存储介质

说明书

本发明公开了一种文本消重系统、方法、服务器及计算机存储介质，包括：预处理模块，用于对待消重的各个文本进行预处理并确定与各个文本对应的关键词；存储模块，用于存储经预处理后的各个文本并设置用于查询各个文本的倒排索引表；消重模块，用于获取至少一个待消重文本并确定与其对应的关键词，通过倒排索引表确定包含上述关键词的至少一个待比对文本，针对待消重文本以及待比对文本进行消重处理；分布式锁模块，用于进行消重处理前，通过分布式锁对待消重文本以及待比对文本进行加锁操作；并在消重处理后释放分布式锁。本发明中的方案能够有效提高文本消重的准确性及处理效率，优化文本消重的处理过程。

技术领域

本发明涉及互联网技术领域，具体涉及一种文本消重系统、方法、服务器及计算机存储介质。

背景技术

文本消重的主要功能是鉴定内容相同或相似的网页数据，并在此基础上滤掉内容相同或相似的网页数据。文本消重的目的在于使用户在使用互联网查询时不会搜到大量内容重复的网页，提高搜索引擎的效率。

但是，在实现本发明实施例的过程中，发明人发现现有技术中至少存在如下问题：现有技术在进行文本消重时，都是将待消重的全部文本数据集中在一起，并通过将全部文本数据逐个比对的方式进行消重处理。然而，随着文本数据量不断增大，当面临海量待消重文本数据时，目前的消重处理方式便很难实时、快速地处理海量待消重文本数据；另一方面，目前在执行消重处理的过程中，为了防止因读写操作而引发的数据不一致现象，需要对全部文本数据进行加锁处理，因此，导致消重过程中的所有文本均无法正常使用，为用户造成了极大不便。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的文本消重系统、方法、服务器及计算机存储介质。

根据本发明的一个方面，提供了一种文本消重系统，包括：预处理模块，用于对待消重的各个文本进行预处理，根据预处理结果确定各个文本对应的关键词；存储模块，用于存储预处理模块预处理后的各个文本，并设置用于查询各个文本的倒排索引表；其中，倒排索引表用于存储各个关键词及其对应的文本之间的映射关系；消重模块，用于从存储模块中获取至少一个待消重文本，确定待消重文本对应的关键词，通过倒排索引表确定包含待消重文本对应的关键词的至少一个待比对文本，针对待消重文本以及待比对文本进行消重处理；分布式锁模块，用于在消重模块进行消重处理前，通过分布式锁对存储模块中存储的待消重文本以及待比对文本进行加锁操作；并在消重模块进行消重处理后释放分布式锁。

根据本发明的另一方面，提供了一种文本消重方法，包括：对待消重的各个文本进行预处理，根据预处理结果确定各个文本对应的关键词；对预处理后的各个文本进行存储，并设置用于查询各个文本的倒排索引表；其中，倒排索引表用于存储各个关键词及其对应的文本之间的映射关系；获取至少一个待消重文本，确定待消重文本对应的关键词，通过倒排索引表确定包含待消重文本对应的关键词的至少一个待比对文本，针对待消重文本以及待比对文本进行消重处理；其中，文本消重方法进一步包括：在消重处理前，通过分布式锁对存储的待消重文本以及待比对文本进行加锁操作；并在消重处理后释放分布式锁。

根据本发明的又一方面，提供了一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述文本消重方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述文本消重方法对应的操作。