[发明专利]选择代表文本的方法、确定标准问题的方法及装置

说明书

本说明书实施例提供了一种选择代表文本的方法、确定标准问题的方法及装置，选择代表文本的方法包括：首先根据文本集合中各个文本的特征向量，确定文本集合的语义中心对应的中心向量；然后确定各个文本的特征向量与中心向量的距离；进一步将各个文本分别输入预先训练的语言模型，可得到各个文本分别对应的输出概率，输出概率用于指示对应的文本语义清晰的可能性；之后即可至少综合考虑各个文本分别对应的输出概率、各个文本分别对应的距离，从文本集合中选择一个文本作为代表文本。

技术领域

本说明书一个或多个实施例涉及计算机领域，尤其涉及选择代表文本的方法、确定标准问题的方法及装置。

背景技术

在一些业务场景中，需要从由若干个文本组成的文本集合中选择代表文本，并基于选择的代表文本实现相应的业务。比如，在构建智能客服机器人所对应的问答知识库时，需要对大量用户问题分别对应的文本进行聚类分析，以将各个问题分别对应的文本划分为多个文本集合(也可称为类簇)，划分至同一个文本集合的各个文本语义相似，之后，则可从各个文本集合中分别选择一个文本作为代表文本，并基于选择的代表文本确定组成问答知识库的标准问题，以便智能客服机器人实现智能问答业务。

发明内容

本说明书一个或多个实施例提供了一种选择代表文本的方法、确定标准问题的方法及装置，可实现从文本集合中选择更加规范的代表文本。

第一方面，提供了一种选择代表文本的方法，所述方法包括：

根据文本集合中各个文本的特征向量，确定所述文本集合的语义中心对应的中心向量；

确定各个所述文本的特征向量与所述中心向量的距离；

将各个所述文本分别输入预先训练的语言模型，得到各个所述文本分别对应的输出概率，所述输出概率用于指示对应的所述文本语义清晰的可能性；

至少根据各个所述文本分别对应的输出概率、各个所述文本分别对应的距离，选择一个所述文本作为代表文本。

在一种可能的实施方式中，

所述文本集合为，对多个文本进行聚类分析所得到的至少两个文本集合中的一个，其中，划分至同一个文本集合中的文本语义相似。

在一种可能的实施方式中，

所述语言模型是基于至少两个语义清晰的训练文本训练得到的。

优选地，

所述根据文本集合中各个文本的特征向量，确定所述文本集合的语义中心对应的中心向量，包括：计算所述文本集合中各个所述文本的特征向量的均值，将所述均值确定为所述文本集合的语义中心对应的中心向量。

在一种可能的实施方式中，

所述方法还包括：确定各个所述文本的文本长度；

所述至少根据各个所述文本分别对应的输出概率、各个所述文本分别对应的距离，选择一个所述文本作为代表文本，包括：根据各个所述文本分别对应的输出概率、各个所述文本分别对应的距离以及各个所述文本的文本长度，选择一个所述文本作为代表文本。

在一种可能的实施方式中，

所述根据各个所述文本分别对应的输出概率、各个所述文本分别对应的距离以及各个所述文本的文本长度，选择一个所述文本作为代表文本，包括：

对于每个所述文本，将所述文本对应的输出概率、所述文本对应的距离以及所述文本的长度，输入预先训练的GBDT(Gradient Boosting Decision Tree，梯度决策提升树)模型，使得所述GBDT模型输出用于指示所述文本的规范程度的第一业务分值；

根据各个所述文本分别对应的第一业务分值，选择一个所述文本作为代表文本。