[发明专利]一种文本相似度计算方法及装置

权利要求书

1.一种文本相似度计算方法，其特征在于，包括：

对第一文本和第二文本进行预处理，得到第一目标词集和第二目标词集，其中，所述第一目标词集包含第一数量的词，所述第二目标词集包含第二预设数量的词；

将所述第一目标词集和所述第二目标词集传递给采用预设的训练方法构建的目标word2vec模型分别转化为第一目标词向量和第二目标词向量；

计算所述第一目标词向量和所述第二目标词向量的余弦相似度；

当所述余弦相似度大于预设相似度阈值时，判定所述第一文本和所述第二文本相似。

2.根据权利要求1所述的方法，其特征在于，对第一文本和第二文本进行预处理，包括：

分别对所述第一文本和所述第二文本进行分词处理，得到第一词集和第二词集；

分别将所述第一词集和所述第二词集中的词与预设的停用词库进行比较；

当所述第一词集和/或所述第二词集中出现与所述预设的停用词库中任意停用词相同的目标停用词时，将所述目标停用词进行删除处理。

3.根据权利要求1所述的方法，其特征在于，分别对所述第一文本和所述第二文本进行分词处理，得到第一词集和第二词集，包括；

确定所述第一文本和所述第二文本所属行业；

依据所述行业，确定所述行业的目标专业词汇库；

依据所述目标专业词汇库，分别对所述第一文本和所述第二文本进行jieba分词，得到第一词集和第二词集。

4.根据权利要求1所述的方法，其特征在于，将所述第一目标词集和所述第二目标词集传递给采用预设的训练方法构建的目标word2vec模型分别转化为第一目标词向量和所述第二目标词向量，包括：

将所述第一目标词集和所述第二目标词集基于所述目标word2vec模型中的连续词袋架构转化为第一数量预设维度的词向量和第二数量预设维度的词向量；

分别将所述第一数量预设维度词向量和所述第二数量预设维度词向量的对应项进行求和取平均，得到所述第一目标词向量和所述第二目标词向量。

5.根据权利要求1所述的方法，其特征在于，采用预设的训练方法构建的目标word2vec模型，包括：

依据所述第一文本和所述第二文本所属行业，构建word2vec模型；

采用历史文本对所述word模型进行语义学习训练，其中，所述历史数据的目标历史词向量已知；

当所述word2vec模型输出的历史词向量与所述目标历史词向量的相似度达到目标相似度阈值时，当前word2vec模型为目标word2vec模型。

6.一种文本相似度计算装置，其特征在于，包括：

预处理模块，用于对第一文本和第二文本进行预处理，得到第一目标词集和第二目标词集，其中，所述第一目标词集包含第一数量的词，所述第二目标词集包含第二预设数量的词；

转化模块，用于将所述第一目标词集和所述第二目标词集传递给采用预设的训练方法构建的目标word2vec模型分别转化为第一目标词向量和第二目标词向量；

计算模块，用于计算所述第一目标词向量和所述第二目标词向量的余弦相似度；

判定模块，用于当所述余弦相似度大于预设相似度阈值时，判定所述第一文本和所述第二文本相似。

7.根据权利要求6所述的装置，其特征在于，所述预处理模块包括：

分词单元，用于分别对所述第一文本和所述第二文本进行分词处理，得到第一词集和第二词集；

比较单元，用于分别将所述第一词集和所述第二词集中的词与预设的停用词库进行比较；

删除单元，用于当所述第一词集和/或所述第二词集中出现与所述预设的停用词库中任意停用词相同的目标停用词时，将所述目标停用词进行删除处理。