[发明专利]一种文本信息筛选方法、装置及设备

说明书

本申请实施例公开了一种文本信息筛选方法、装置及设备，该方法包括：获取目标问题文本对应的相关问题文本，并将该相关问题文本的答案文本组成候选答案文本；对该候选答案文本进行分词获得分词结果，并根据该分词结果中各分词之间的关联关系，计算分词转移概率；根据各个候选答案文本包括的分词以及该分词转移概率，计算各个该候选答案文本的概率值，并将概率值最大的候选答案文本确定为目标问题文本的目标答案文本。其中，因基于分词转移概率计算得到的各个候选答案文本的概率值准确地表征各个候选答案文本能够准确地答复目标问题的可能性大小，使得后续能够基于该概率值准确地筛选出准确的目标答案，如此提高了目标答案的筛选准确性。

技术领域

本申请涉及数据处理技术领域，具体涉及一种文本信息筛选方法、装置及设备。

背景技术

问答系统是一种常用的信息检索系统。问答系统能用自然语言回答用户用自然语言提出的问题，且该答复过程具体为：在用户提出问题之后，问答系统可以利用问答数据库中所记录的问答对来检索该问题对应的答案，以便利用检索到的答案答复用户问题。其中，问答对是指具有对应关系的问题和答案。

然而，因问答数据库中包括大量的问答对，使得问答系统无法从这些大量的问答对中准确地检索到用户问题所对应的准确答案，如此降低了问答系统针对用户问题的回复答案的准确性。

发明内容

有鉴于此，本申请实施例提供一种文本信息筛选方法、装置及设备，能够准确地检索到用户问题所对应的准确答案，提高了问答系统针对用户问题的回复答案的准确性。

为解决上述问题，本申请实施例提供的技术方案如下：

一种文本信息筛选方法，所述方法包括：

获取目标问题文本对应的相关问题文本；

将所述相关问题文本的答案文本组成候选答案文本；

对所述候选答案文本进行分词，获得分词结果；

根据所述分词结果中各分词之间的关联关系，计算分词转移概率；

根据各个所述候选答案文本包括的分词以及所述分词转移概率，计算各个所述候选答案文本的概率值；

将所述概率值最大的候选答案文本确定为所述目标问题文本的目标答案文本。

在一种可能的实现方式中，所述方法还包括：

对问题文本集合中的问题文本进行聚类，得到问题文本聚类，每个所述问题文本聚类中包括至少一个问题文本；

所述获取目标问题文本对应的相关问题文本，包括：

确定目标问题文本所属的问题文本聚类；

将所述目标问题文本所属的问题文本聚类中的问题文本确定为候选相关问题文本；

提取所述目标问题文本的关键词以及所述候选相关问题文本的关键词；

将与所述目标问题文本存在相同关键词的候选相关问题文本确定为所述目标问题文本对应的相关问题文本。

在一种可能的实现方式中，所述对问题文本集合中的问题文本进行聚类，得到问题文本聚类，包括：

将问题文本集合中的问题文本转换为特征向量；

根据所述问题文本集合中的问题文本的特征向量在向量空间中的分布，对所述问题文本集合中的问题文本进行聚类，得到问题文本聚类。

在一种可能的实现方式中，所述确定目标问题文本所属的问题文本聚类，包括：

将目标问题文本转换为特征向量；