[发明专利]一种提升人机交互对话语料质量与多样性的对话语料库生成方法

权利要求书

1.一种提升人机交互对话语料质量与多样性的对话语料库生成方法，其步骤包括：

1)对所选对话语料进行同义句扩展，形成一候选集合；生成所述候选集合的方法为：11)每次从对话语料中选取相邻的两个词与进行交换，得到若干个扩展后的句子；12)利用停用词词典删除每一扩展后的句子中的停用词；13)利用同义词词典判断每一句子中的每一分词是否有同义词，如果有则利用同义词词典中的同义词替换掉对应的分词，将每一句子扩展为若干个句子；14)对于扩展后的每个句子，先将其翻译为第一中间语言，再由第一中间语言翻译到第二中间语言，再从第二中间语言再翻译回原语言或再经若干次语言转换后翻译为原语言；然后比较多次翻译转换后的返回结果与原始语句是否一致，如果不一致，则保存该返回结果与原始语句到候选集合，否则将原始语句保存到候选集合中；

2)对该候选集合中的每一对话语料进行异常检测，得到各对话语料的异常值；

3)将异常值低于设定打分阈值的对话语料保存到提升后的对话语料库中；

4)对异常值高于或等于该打分阈值的对话语料进行语义分析：如果是错误的对话数据，则直接丢弃；如果是多样性的对话数据，则执行步骤5)；否则将当前对话语料保存到提升后的对话语料库中；

5)将判定为多样性的对话数据重新作为输入，执行步骤1～4)直到达到暂停条件，停止迭代。

2.如权利要求1所述的方法，其特征在于，步骤11)的词序交换、步骤12)的停用词删减、步骤13)的同义词替换、步骤14)的跨语种翻译处理对应一跳过概率，用于设定跳过执行对应步骤处理的概率。

3.如权利要求1所述的方法，其特征在于，步骤2)中，首先对该候选集合中每一对话语料分词后的所有句子进行向量化，得到一设定长度的向量d_text；然后对该候选集合中所有对话语料对应的向量求平均值，得到平均向量d_mean；然后计算每一向量d_text与平均向量d_mean的距离，将该距离作为对应对话语料的差异值。

4.如权利要求3所述的方法，其特征在于，所述距离为其中，threshold是定义的阈值，N为向量的维度，x_i为向量d_text中的第i维分量，d_i为平均向量d_mean中的第i维分量。

5.如权利要求1所述的方法，其特征在于，步骤3)中，根据相邻最大差异法确定所述打分阈值；其中相邻最大差异法为：

31)根据异常值对各对话语料进行排序，得到的排序结果记为：(Sentence₁,Score₁),(Sentence₂,Score₂),..,(Sentence_n,Score_n)；Sentence_n为第n个对话语料对应的句子，Score_n第n个对话语料的异常值；

32)计算相邻排序的差异

33)取步骤32)所得结果中最大的差异值，记为Delta_q；将Delta_q对应的两相邻异常值Score_q、Score_q-1的平均值作为打分阈值Score_threshold。