[发明专利]文本信息的查重方法、装置及电子设备

摘要

本发明提供了一种文本信息的查重方法、装置及电子设备，涉及信息处理的技术领域，包括获取待查询文本；对待查询文本进行段落拆分处理，得到待查询文本的多个拆分段落；对每个拆分段落进行哈希函数处理，得到拆分段落的特征指纹；将拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果。该方法通过将每个特征指纹片段与其对应的特征指纹片段库进行匹配，能够快速的得到查重结果，并且是对每个拆分段落进行的查重，查重结果的相似度性能好，缓解了现有的文本信息查重方法存在检索速度慢、检索结果的相似度性能差的技术问题。

主权项

1.一种文本信息的查重方法，其特征在于，包括：获取待查询文本；对所述待查询文本进行段落拆分处理，得到所述待查询文本的多个拆分段落；对每个所述拆分段落进行哈希函数处理，得到所述拆分段落的特征指纹，其中，所述特征指纹为包含所述待查询文本的特征的数组；将所述拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个所述特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果，其中，所述查重结果至少包括：是否存在重复内容，所述重复内容的出处。