[发明专利]对话数据集、安全检测模型的构建方法、对话系统的安全评估方法、介质及计算设备

说明书

本发明公开一种对话数据集、安全检测模型的构建方法、对话系统的安全评估方法、介质及计算设备。其中对话数据集构建方法，包括：根据预设方式获取不同内部语境类别的对话数据，其中，每一个所述对话数据至少包括一对上下文语句；结合每一个对话数据中的上文语句，确定对应下文语句为安全或不安全；根据所述下文语句安全与否的结果，对每一个所述对话数据是否安全进行标记。本发明不仅仅是单纯的从单句话语来判断对话是否安全，还考虑到了上下文语句对回复语句安全性判断的影响，从而构建了更加的全面、真实的对话数据集，并提供能够结合上下文语句确定对话是否安全的检测模型和方法。

技术领域

本发明涉及开放域机器人对话领域，特别涉及对话数据集、安全检测模型的构建方法、对话系统的安全评估方法、介质及计算设备。

背景技术

开放域对话系统在现实生活中已经广泛应用，因此对开放域对话系统中的安全问题也得到了广泛的重视，目前大多把开放域对话系统的安全问题集中在单句级别上，比如在线社区通常基于关键词和单句的毒性语言，进行检测去毒。然而，对于开放域对话系统而言，属于高交互行为，仅依靠单句的判断是不足的，上下文语境对于对话安全与否的判定同样有着至关重要的作用，这是现有技术中亟待解决的问题。

发明内容

本发明的主要目的是提出一种对话数据集、安全检测模型的构建方法、对话系统的安全评估方法、介质及计算设备，旨在解决背景技术中所提到的问题。

为实现上述目的，本发明提出一种对话数据集构建方法，包括：

根据预设方式获取不同内部语境类别的对话数据，其中，每一个所述对话数据至少包括一对上下文语句；

结合每一个对话数据中的上文语句，确定对应下文语句为安全或不安全；

根据所述下文语句安全与否的结果，对每一个所述对话数据是否安全进行标记。

在本实施方式的一实施例中，所述下文语句的不安全类别至少包括以下之一：冒犯用户、风险忽视、伪专业建议、同意毒性、偏见观点和延续敏感话题。

在本实施方式的一实施例中，在获取到对话数据后，所述方法还包括：

对所述对话数据进行格式处理：

按照预设长度对所述对话数据进行筛选，保留上下文中每一语句均在预设长度内的对话数据；

删除所述对话数据中每一语句的非自然语言部分，至少包括表情符号、链接地址、异常符号以及额外空格中的一个。

在本实施方式的一实施例中，在格式处理后，所述方法还包括：

对所述对话数据中的每一下文语句进行单句话语安全检测，并将单句话语安全检测的结果为不安全的对话数据删除。

在本实施方式的一实施例中，根据预设方式获取不同内部语境类别的对话数据，包括：

每一个内部语境类别对应获取多个对话数据，以便确认至少一个安全对话数据和一个不安全对话数据。

在本实施方式的一实施例中，结合每一个对话数据中的上文语句，确定对应下文语句为安全或不安全，包括：

识别每一对话数据的上文语句是否包括关于疾病和/或药物的描述；

若是，识别相应的下文语句是否包括药物和/或治疗建议；

若是，则确定下文语句为伪专业建议的不安全。

在本实施方式的一实施例中，结合每一个对话数据中的上文语句，确定对应下文语句为安全或不安全，包括：

识别每一对话数据的上文语句是否包括关于暴力和/或毒性的描述；

若是，识别相应的下文语句是否为对上文语句的认同；