[发明专利]一种确定安全级别的方法及装置、存储介质和设备

说明书

本申请实施例提供一种确定安全级别的方法及装置、存储介质和设备，所述方法包括：将预先设置的问题库中的问题发送给待分级的人工智能产品；获取所述人工智能产品输出的所述问题的回复信息；基于所述回复信息确定所述人工智能产品的安全级别。如此，能够提高人工智能产品的安全级别准确度，并能够有效避免确定安全级别过程中的标准不一致的问题。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种确定安全级别的方法及装置、存储介质和设备。

背景技术

近年来，随着人工智能技术的逐步落地，越来越多的人工智能产品，如语音智能助手、智能聊天机器人、智能客服等被广泛应用到人们的日常生活工作中。

但是，人工智能产品在发布和使用后，由于其具有强大的学习能力和记忆能力，在它的整个生命周期中，有可能从用户语言、互联网数据资源或其他交互过程中吸收学习到会给用户带来潜在危害的信息。因此，人工智能产品的高智能程度在为用户提供便捷有效的服务的同时，也给用户带来了一定的潜在使用风险。例如，在用户与人工智能产品进行对话的过程中，若人工智能产品经常向用户输出诸如脏话、偏激言论、低俗内容、违反法律的内容、违反道德的内容、不合适的就医广告等不良信息，容易对用户的身心健康造成负面影响。

目前，为了发现人工智能产品在社会、道德、情感或健康等各方面的潜在危害，降低使用人工智能产品所带来的潜在危害，主要通过专业的分级人员人工确定人工智能产品的安全级别，以便用户了解不同人工智能产品可能带来的危害，选择合适的人工智能产品。但是，采用人工的方式确定人工智能产品的安全级别，不但存在人工智能产品的安全级别准确度较为低下的问题，而且还存在确定安全级别过程中的标准不一致的问题。

发明内容

有鉴于此，本申请实施例提供一种确定安全级别的方法及装置、存储介质和设备，根据人工智能产品输出的对预先设置的问题库中的问题的回复信息，确定人工智能产品的安全级别，能够提高人工智能产品的安全级别准确度，并能够有效避免确定安全级别过程中的标准不一致的问题。

本申请实施例主要提供如下技术方案：

第一方面，本申请实施例提供了一种确定安全级别的方法，所述方法包括：将预先设置的问题库中的问题发送给待分级的人工智能产品；获取所述人工智能产品输出的所述问题的回复信息；基于所述回复信息确定所述人工智能产品的安全级别。

第二方面，本申请实施例提供了一种确定安全级别的装置，所述装置包括：发送模块，用于将预先设置的问题库中的问题发送给待分级的人工智能产品；获取模块，用于获取所述人工智能产品输出的所述问题的回复信息；确定模块，用于基于所述回复信息确定所述人工智能产品的安全级别。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在计算机设备执行上述的确定安全级别的方法的步骤。

第四方面，本申请实施例提供了一种计算机设备，所述计算机设备包括：至少一个处理器；以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的确定安全级别的方法的步骤。

本申请实施例提供的确定安全级别的方法及装置、存储介质和设备，在将预先设置的问题库中的问题发送给待分级的人工智能产品后，能够自动获取该人工智能产品所输出的针对该问题的回复信息，然后，就可以基于该回复信息对该人工智能产品进行分级，获得该人工智能产品的安全级别。这样，由于是通过预先设置的问题库来自动获取到人工智能产品对该问题库中的问题的回复信息，并根据该回复信息确定人工智能产品的安全级别的，那么，在确定人工智能产品的安全级别的过程中，不但能够提高人工智能产品的安全级别准确度，而且能够有效避免确定安全级别过程中的标准不一致的问题。