[发明专利]文本信息的查重方法、装置及电子设备

权利要求书

1.一种文本信息的查重方法，其特征在于，包括：

获取待查询文本；

对所述待查询文本进行段落拆分处理，得到所述待查询文本的多个拆分段落；

对每个所述拆分段落进行哈希函数处理，得到所述拆分段落的特征指纹，其中，所述特征指纹为包含所述待查询文本的特征的数组；

将所述拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个所述特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果，其中，所述查重结果至少包括：是否存在重复内容，所述重复内容的出处；

其中，对所述待查询文本进行段落拆分处理包括：

根据所述待查询文本中的分隔符号对所述待查询文本进行分句处理，得到多个语句，其中，所述分隔符号至少包括：句号，换行符，问号；

将所述多个语句进行组合，得到所述待查询文本的多个拆分段落，其中，所述拆分段落至少包含一个语句；

其中，将所述多个语句进行组合包括：

获取动态采样窗口的大小和动态采样窗口的滑动步长，其中，所述动态采样窗口的大小决定所述拆分段落所包含的字数，或，所述动态采样窗口的大小决定所述拆分段落所包含的语句个数；

根据所述动态采样窗口的大小和所述动态采样窗口的滑动步长对所述多个语句进行遍历采样，得到所述待查询文本的多个拆分段落。

2.根据权利要求1所述的方法，其特征在于，对每个所述拆分段落进行哈希函数处理包括：

在每个所述拆分段落中遍历提取连续的n个单字，并将每个所述连续的n个单字作为第一目标词，进而得到由多个第一目标词组成的第一目标词集；

对所述第一目标词集中的每个所述第一目标词进行第一哈希函数处理，得到多个第一初始哈希值；

基于算式h(x)＝(ax+b)mod c对多个所述第一初始哈希值进行第二哈希函数处理，得到多个第一目标哈希值，其中，h(x)表示所述第一目标哈希值，x表示所述第一初始哈希值，a，b，c表示预设随机正整数，且所述预设随机正整数为f组；

在每组所述预设随机正整数确定的所述多个第一目标哈希值中确定一个特征值，进而得到f个特征值，其中，所述特征值为所述多个第一目标哈希值中的最小值；

对所述f个特征值进行第一压缩处理，得到第一特征指纹，并将所述第一特征指纹作为所述拆分段落的特征指纹。

3.根据权利要求1所述的方法，其特征在于，对每个所述拆分段落进行哈希函数处理包括：

在每个所述拆分段落中遍历提取连续的m个单字，并将每个所述连续的m个单字作为第二目标词，进而得到由多个第二目标词组成的第二目标词集；

对所述第二目标词集中的每个所述第二目标词进行第三哈希函数处理，得到多个第二初始哈希值，其中，所述第三哈希函数的输出位数为w位；

将每个所述第二初始哈希值转换为w位的二进制数；

获取每个所述第二目标词的TFIDF权重；

将每个所述w位的二进制数的每一位的表示位与对应的第二目标词的TFIDF权重进行相乘，得到多个w位的计算数值，其中，若所述w位的二进制数中的任意一位为0，则其表示位为-1，若所述w位的二进制数中的任意一位为1，则其表示位为+1；

将所述多个w位的计算数值中的对应位进行相加计算，得到目标计算数值；

对所述目标计算数值进行第二压缩处理，得到第二特征指纹，并将所述第二特征指纹作为所述拆分段落的特征指纹。

4.根据权利要求1所述的方法，其特征在于，将所述拆分段落的特征指纹进行分段处理包括：

获取预设的特征指纹分段数量；

按照所述数量对所述拆分段落的特征指纹进行分段处理，得到多个特征指纹片段。