[发明专利]文本相似度确定方法、装置、电子设备及系统

说明书

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种文本相似度确定方法、装置、电子设备及系统。

背景技术

文本相似度是指不同文本之间的语意关联程度，文本相似度的确定是文本挖掘和文本检索的核心工作之一，因此如何更好的进行文本相似度的确定一直是本领域技术人员极为关注的问题。

一般来说，单个文本可以直接表示为文本在单词空间中的一个向量，而文本相似度的计算则可以转化为向量之间欧氏距离或余弦距离的计算。在此基础上，现有技术进行文本相似度的确定方式主要为：将文本映射成单词空间中的一个向量，计算向量之间欧氏距离或余弦距离，再采用倒排索引或位置敏感哈希算法对文本进行索引，从而提高文本相似度确定的效率。

本发明的发明人在实现本发明的过程中发现：现有确定文本相似度的方式只是在单词空间进行文本相似度的确定，并没有考虑文本特征之间的关联和语义信息，因而一部分相似度的信息有可能丢失，使得所确定的文本相似度并不准确。

发明内容

有鉴于此，本发明实施例提供一种文本相似度确定方法、装置、电子设备及系统，以解决现有确定文本相似度的方式存在的所确定的文本相似度并不准确的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种文本相似度确定方法，包括：

获取至少两个文本；

将所获取的各文本映射到主题空间；

对映射至所述主题空间的各文本对应的向量进行降维处理；

确定降维处理后的各文本所对应的表征文本特征的哈希函数；

将各文本所对应的哈希函数进行二值化处理，得到各文本所对应的二进制编码，各文本所对应的二进制编码的长度一致；

通过各文本对应的二进制编码，确定文本之间的海明距离，通过文本之间的海明距离确定文本之间的文本相似度。

本发明实施例还提供一种文本相似度确定装置，包括：

文本获取模块，用于获取至少两个文本；

映射模块，用于将所获取的各文本映射到主题空间；

降维模块，用于对映射至所述主题空间的各文本对应的向量进行降维处理；

哈希函数确定模块，用于确定降维处理后的各文本所对应的表征文本特征的哈希函数；

二值化处理模块，用于将各文本所对应的哈希函数进行二值化处理，得到各文本所对应的二进制编码，各文本所对应的二进制编码的长度一致；

海明距离确定模块，用于通过各文本对应的二进制编码，确定文本之间的海明距离；

相似度确定模块，用于通过文本之间的海明距离确定文本之间的文本相似度。

本发明实施例还提供一种电子设备，包括上述所述的文本相似度确定装置。

本发明实施例还提供一种文本相似度确定系统，包括：多个终端设备和网络服务器；

其中，所述多个终端设备，用于将各终端设备的文本上传至所述网络服务器；

所述网络服务器，用于获取各终端设备上传的文本，将所获取的各文本映射到主题空间，对映射至所述主题空间的各文本对应的向量进行降维处理，确定降维处理后的各文本所对应的表征文本特征的哈希函数，将各文本所对应的哈希函数进行二值化处理，得到各文本所对应的二进制编码，各文本所对应的二进制编码的长度一致，通过各文本对应的二进制编码，确定文本之间的海明距离，通过文本之间的海明距离确定文本之间的文本相似度。

基于上述技术方案，本发明实施例提供的文本相似度确定方法，将获取到的各文本映射至主题空间，将对映射至主题空间的各文本进行降维处理，通过确定降维处理后的各文本所对应的表征文本特征的哈希函数，得到各文本所对应的二进制编码，通过各文本对应的二进制编码，确定文本之间的海明距离，进而通过文本之间的海明距离确定文本之间的文本相似度，实现文本之间相似度的确定。本发明实施例提供的文本相似度确定方法，将文本映射至主题空间后再进行后续的文本相似度确定，可使得文本相似度的确定过程中涉及到文本特征之间的关联和语义信息，使得文本相似度的确定具有更高的准确性，同时将文本之间文本相似度的计算转变为对文本之间的对应海明距离的计算，可使得文本之间文本相似度的计算量大幅减小，极大的提高了文本之间文本相似度计算的效率。本发明实施例在保证文本相似度确定的准确性的前提下，减小了文本相似度计算的计算量，提高了文本相似度的计算效率。

附图说明