[发明专利]一种对话系统的训练数据选择方法

权利要求书

1.一种对话系统的训练数据选择方法，其特征在于，所述方法包括：

确定新增垂直领域和所述新增垂直领域对应的第一正样本数据；

选取多个候选垂直领域，确定所述多个候选垂直领域中每个候选垂直领域对应的第二正样本数据；

对所述第一正样本数据进行分词处理，得到所述新增垂直领域对应的第一分词样本数据，对每个候选垂直领域对应所述第二正样本数据进行分词处理，得到所述每个候选垂直领域对应的第二分词样本数据；所述第一分词样本数据包括多个不相同的第一分词，所述第二分词样本数据包括多个不相同的第二分词；

获取所述第一分词的正向参数和反向参数，根据所述正向参数和所述反向参数确定所述第一分词的重要度；

获取所述第二分词的正向参数和反向参数，根据所述正向参数和所述反向参数确定所述第二分词的重要度；

根据所述第一分词的重要度和所述第二分词的重要度，确定所述每个候选垂直领域与新增垂直领域之间的相似度；

根据预设条件和每个候选垂直领域与新增垂直领域之间的所述相似度，确定满足预设条件的候选垂直领域作为所述新增垂直领域的训练候选垂直领域。

2.根据权利要求1所述的训练数据选择方法，其特征在于，所述第二分词样本数据包括多个不相同的第二分词，具体包括：

所述第二分词样本数据包括多组第二分词子样本，每个所述第二分词子样本分别对应每个候选垂直领域，所述第二分词子样本包括多个不完全相同的第二分词。

3.根据权利要求1所述的训练数据选择方法，其特征在于，根据所述第一分词样本数据中每个所述第一分词出现的数量确定所述第一分词的正向参数；

根据所述第二分词样本数据中每个所述第二分词出现的数量确定所述第二分词的正向参数。

4.根据权利要求1所述的训练数据选择方法，其特征在于，根据所述第一分词和所述第二分词对应的垂直领域的数量和全部垂直领域的数量，确定所述第一分词的反向参数和所述第二分词的反向参数；

其中，所述全部垂直领域包括所述新增垂直领域和所述候选垂直领域。

5.根据权利要求1所述的训练数据选择方法，其特征在于，所述根据所述第一分词的重要度和所述第二分词的重要度，确定所述每个候选垂直领域与新增垂直领域之间的相似度，具体包括：

根据所述第一分词的重要度和所述第二分词的重要度，计算每个候选垂直领域和新增垂直领域间的欧氏距离；

所述根据预设条件和每个候选垂直领域与新增垂直领域之间的所述相似度，确定满足预设条件的候选垂直领域作为所述新增垂直领域的训练候选垂直领域，具体包括：

根据预设条件和所述欧氏距离，确定满足预设条件的候选垂直领域作为所述新增垂直领域的训练候选垂直领域。

6.根据权利要求5所述的训练数据选择方法，其特征在于，所述根据预设条件和所述欧氏距离，确定满足预设条件的候选垂直领域作为所述新增垂直领域的训练候选垂直领域，具体包括：

获取欧氏距离阈值；

若所述欧氏距离大于或者小于所述欧氏距离阈值，则将所述欧氏距离对应的所述候选垂直领域作为所述新增垂直领域对应的所述训练候选垂直领域。

7.根据权利要求1所述的训练数据选择方法，其特征在于，在所述选取符合预设要求相似度的候选垂直领域作为所述新增垂直领域的训练候选垂直领域后，所述方法还包括：

使用所述训练候选垂直领域对应的所述第二正样本数据作为所述新增垂直领域负样本数据，对所述新增垂直领域进行训练。

8.一种对话系统的训练数据选择装置，其特征在于，所述装置包括：确定模块、选取模块、处理模块和比较模块，其中，

所述确定模块，用于确定新增垂直领域和所述新增垂直领域对应的第一正样本数据；

所述选取模块，用于选取多个候选垂直领域，确定所述多个候选垂直领域中每个候选垂直领域对应的第二正样本数据；

所述处理模块，用于对所述第一正样本数据进行分词处理，得到所述新增垂直领域对应的第一分词样本数据，对每个候选垂直领域对应所述第二正样本数据进行分词处理，得到所述每个候选垂直领域对应的第二分词样本数据；所述第一分词样本数据包括多个不相同的第一分词，所述第二分词样本数据包括多个不相同的第二分词；获取所述第一分词的正向参数和反向参数，根据所述正向参数和所述反向参数确定所述第一分词的重要度；获取所述第二分词的正向参数和反向参数，根据所述正向参数和所述反向参数确定所述第二分词的重要度；根据所述第一分词的重要度和所述第二分词的重要度，确定所述每个候选垂直领域与新增垂直领域之间的相似度；

所述比较模块，用于根据预设条件和每个候选垂直领域与新增垂直领域之间的所述相似度，确定满足预设条件的候选垂直领域作为所述新增垂直领域的训练候选垂直领域。