[发明专利]相似文本识别方法及装置

说明书

本公开涉及一种相似文本识别方法及装置，包括获取标注完成的文本对作为训练样本；根据所述训练样本，训练语义模型，所述语义模型的输出结果对应正样本或者负样本；采用所述语义模型从待识别文本中筛选出与目标文本相似的待定文本；采用字面距离模型从所述待定文本中筛选出目标文本的相似文本。通过语义模型加字面距离模型的瀑布式组合模型，根据本公开实施例的相似文本识别方法及装置能够提升相似文本识别的精度。

技术领域

本公开涉及模式识别及分类技术领域，尤其涉及一种相似文本识别方法及装置。

背景技术

中文相似度应用广泛，在信息检索系统中为了能召回更多与检索词语相似的结果，可以用相似度来识别相似的词语，以此提高召回率；在自动问答中，可以通过相似度计算用户以自然语言的提问问句与语料库中问题的匹配程度，匹配度最高的问题对应的答案可以作为响应；在机器翻译中，会分析语句的相似度来完成双语的翻译；在自动文摘中，在提取文摘的过程中要利用相似度对语义相似的句子进行抽取。

对于中文相似度中的短文本相似度，相关技术中，采用编辑距离算法、余弦值法、SimHash法、汉明距离法以及CNN模型等方法计算短文本相似度。由于短文本长度较短，缺少丰富的上下文信息，相关技术中计算短文本相似度的方法的精度较低。

发明内容

有鉴于此，本公开提出了一种相似文本识别方法及装置，能够提高相似文本识别的精度。

根据本公开的一方面，提供了一种相似文本识别方法，包括获取标注完成的文本对作为训练样本；其中，所述文本对包括第一文本和第二文本，所述文本对的标注结果代表正样本时，所述第一文本和所述第二文本为相似文本，所述文本对的标注结果代表负样本时，所述第一文本和第二文本不是相似文本；根据所述训练样本，训练语义模型，所述语义模型的输出结果对应正样本或者负样本；采用所述语义模型从待识别文本中筛选出与目标文本相似的待定文本；采用字面距离模型从所述待定文本中筛选出目标文本的相似文本。

根据本公开的另一方面，提供了一种相似文本识别装置，包括获取模块，用于获取标注完成的文本对作为训练样本；其中，所述文本对包括第一文本和第二文本，所述文本对的标注结果代表正样本时，所述第一文本和所述第二文本为相似文本，所述文本对的标注结果代表负样本时，所述第一文本和第二文本不是相似文本；训练模块，用于根据所述训练样本，训练语义模型，所述语义模型的输出结果对应正样本或者负样本；第一筛选模块，用于采用所述语义模型从待识别文本中筛选出与目标文本相似的待定文本；第二筛选模块，用于采用字面距离模型从所述待定文本中筛选出目标文本的相似文本。

在本公开实施例中，根据标注完成的文本对训练语义模型，先采用语义模型识别出与目标文本相似的待定文本，再采用字面距离模型从待定文本中筛选出相似文本，通过语义模型加字面距离模型的瀑布式组合模型，提升相似文本识别的精度。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的相似文本识别方法的流程图。

图2示出根据本公开实施例的模型融合示意图。

图3示出根据本公开一实施例的相似文本识别方法的流程图。

图4示出了余弦相似度的一个示例。

图5示出本公开实施例的第一文本和第二文本中各字符的LSF特征值的一个示例。

图6示出根据本公开一实施例的相似文本识别方法的流程图。

图7示出根据本公开一实施例的相似文本识别方法的流程图。