[发明专利]一种对话系统的训练数据选择方法

说明书

本发明提供一种对话系统的训练数据选择方法，包括：确定新增垂直领域和所述新增垂直领域对应的第一正样本数据；选取多个候选垂直领域，确定所述多个候选垂直领域中每个候选垂直领域对应的第二正样本数据；根据所述新增垂直领域对应的第一正样本数据和所述每个候选垂直领域对应的第二正样本数据，确定所述每个候选垂直领域与新增垂直领域之间的相似度；根据预设条件和每个候选垂直领域与新增垂直领域之间的所述相似度，确定满足预设条件的候选垂直领域作为所述新增垂直领域的训练候选垂直领域。本发明还提供一种对话系统的训练数据选择装置，确定作为用于训练新增垂直领域的候选垂直领域，提高了准确率和效率，同时降低了人力成本。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种对话系统的训练数据选择方法和装置。

背景技术

对话系统是人类和机器交互的接口，任务型人机对话系统同是一种常见的对话系统，而任务型人机对话系统中，自然语言理解模块作为重要的模块，用于对语音识别模块输出的自言语言文本进行语义解析，将非结构化的自言语言文本解析为使机器可以理解的结构化知识。

在自然语言理解模块解析自言语言文本时，垂直领域的解析是其中重要的一环，垂直领域表示着自然语言文本的所述领域，该领域的选取影响着语义槽识别和领域意图分类等模块，而对于一个训练好的垂直领域集合，以往在添加新垂直领域时，需要熟悉训练好的垂直领域的专家在每个垂直领域中进行人工选取负样本，用于训练新增的垂直领域，不仅要求专家对于每个垂直领域都很熟悉，而且效率低下，需要逐个审查每个垂直领域，不适合系统的快速迭代，同时因为人工从每个垂直领域中找合适的负样本，容易漏选、误选，错误率较高。

发明内容

本发明提供一种对话系统的训练数据选择方法和装置，在训练数据的选择上提高了准确率和效率，同时降低了人力成本。

一方面，本发明实施例提供了一种对话系统的训练数据选择方法，其特征在于，所述方法包括：确定新增垂直领域和所述新增垂直领域对应的第一正样本数据；选取多个候选垂直领域，确定所述多个候选垂直领域中每个候选垂直领域对应的第二正样本数据；根据所述新增垂直领域对应的第一正样本数据和所述每个候选垂直领域对应的第二正样本数据，确定所述每个候选垂直领域与新增垂直领域之间的相似度；根据预设条件和每个候选垂直领域与新增垂直领域之间的所述相似度，确定满足预设条件的候选垂直领域作为所述新增垂直领域的训练候选垂直领域。

可选的，在确定所述多个候选垂直领域中每个候选垂直领域对应的第二正样本数据后，所述方法还包括：对所述第一正样本数据进行分词处理，得到所述新增垂直领域对应的第一分词样本数据，对每个候选垂直领域对应所述第二正样本数据进行分词处理，得到所述每个候选垂直领域对应的第二分词样本数据；所述根据所述新增垂直领域对应的第一正样本数据和所述每个候选垂直领域对应的第二正样本数据，确定所述每个候选垂直领域与新增垂直领域之间的相似度，具体包括：根据新增垂直领域对应的第一分词样本数据和所述每个候选垂直领域对应的第二分词样本数据，确定所述每个候选垂直领域与新增垂直领域之间的相似度。

可选的，所述第一分词样本数据包括多个不相同的第一分词，所述第二分词样本数据包括多个不相同的第二分词；在得到所述新增垂直领域对应的第一分词样本数据和得到所述候选垂直领域对应的第二分词样本数据之后，所述方法还包括：获取所述第一分词的正向参数和反向参数，根据所述正向参数和所述反向参数确定所述第一分词的重要度；获取所述第二分词的正向参数和反向参数，根据所述正向参数和所述反向参数确定所述第二分词的重要度；所述根据新增垂直领域对应的第一分词样本数据和所述每个候选垂直领域对应的第二分词样本数据，确定所述每个候选垂直领域与新增垂直领域之间的相似度，具体包括：根据所述第一分词的重要度和所述第二分词的重要度，确定所述每个候选垂直领域与新增垂直领域之间的相似度。

可选的，所述第二分词样本数据包括多个不相同的第二分词，具体包括：所述第二分词样本数据包括多组第二分词子样本，每个所述第二分词子样本分别对应每个候选垂直领域，所述第二分词子样本包括多个不完全相同的第二分词。