[发明专利]一种文本相似度计算方法及系统

说明书

本申请提供一种文本相似度计算方法及系统。方法包括：对第一文本进行分词得到第一分词结果，所述第一分词结果包括至少一个第一分词和每个所述第一分词的词权重；对于每一个所述第一分词，按照所述第一分词的哈希值和词权重生成所述第一分词的加权数字串；和对于每一个所述第一分词的加权数字串，进行向量化累加计算得到所述第一文本的序列串，以及对所述第一文本的序列串进行向量化降维得到所述第一文本的Simhash签名；获取第二文本的Simhash签名，并基于所述第一文本的Simhash签名和所述第二文本的Simhash签名，得到所述第一文本与所述第二文本的相似度。如此提升计算速度和整体效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本相似度计算方法及系统。

背景技术

随着计算机和互联网技术的发展，经常需要面对海量的数据和信息，这样给数据存储、数据处理及数据传输带来很大的挑战。这些数据和信息中往往存在许多相同或者相似的内容，通过去重、查重操作可以压缩数据规模便于存储和处理。此外，通过识别完全相同或者大体相同的内容也便于进行归类和建模以及提供如统计数据、抄袭判定等参考依据。另外，提供原始数据的一方和收集数据进行文本相似度计算的另一方之间也面临数据分享和隐私保护方面的挑战。

在现有技术中，缺乏一种有效的技术手段来高效判别两个对象例如两个文本内容之间的相似程度并给出可靠的量化指标，并且还能兼顾数据分享、隐私保护等方面。

综上所述，目前需要解决的问题是如何提供一种兼顾数据分享、隐私保护且能高效判别两个对象例如两个文本内容之间的相似程度并给出可靠的量化指标的技术方案。

发明内容

本申请实施例提供了一种文本相似度计算方法及系统，用于解决现有技术中存在的问题。

第一方面，本申请提供了一种文本相似度计算方法。所述方法包括：对第一文本进行分词得到第一分词结果，所述第一分词结果包括至少一个第一分词和每个所述第一分词的词权重；对于每一个所述第一分词，按照所述第一分词的哈希值和词权重生成所述第一分词的加权数字串；和对于每一个所述第一分词的加权数字串，进行向量化累加计算得到所述第一文本的序列串，以及对所述第一文本的序列串进行向量化降维得到所述第一文本的Simhash签名；获取第二文本的Simhash签名，并基于所述第一文本的Simhash签名和所述第二文本的Simhash签名，得到所述第一文本与所述第二文本的相似度。

第二方面，本申请提供了一种系统。所述系统包括：分词单元，用于对第一文本进行分词得到第一分词结果，所述第一分词结果包括至少一个第一分词和每个所述第一分词的词权重；哈希计算单元，用于计算每一个所述分词的哈希值；加权数字串生成单元，用于对于每一个所述第一分词，按照所述第一分词的哈希值和词权重生成所述第一分词的加权数字串；累加计算单元，用于对于每一个所述第一分词的加权数字串，进行向量化累加计算得到所述第一文本的序列串；和降维单元，用于对所述第一文本的序列串进行向量化降维得到所述第一文本的Simhash签名。

第三方面，本申请实施例还提供了一种计算设备，所述计算设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现根据上述任一方面的任一种实现方式的方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算设备上运行时使得所述计算设备执行根据上述任一方面的任一种实现方式的方法。

第五方面，本申请实施例还提供了一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在计算机可读存储介质上的指令，当所述指令在计算设备上运行时使得所述计算设备执行根据上述任一方面的任一种实现方式的方法。

附图说明