[发明专利]计算环境中可解释人工智能的误用指标

说明书

根据一个实施例，描述了用于促进计算环境中可解释的人工智能的误用指标的机制。如本文中所描述的实施例的方法包括在机器学习环境中将训练数据与推论使用进行映射，其中训练数据用于训练机器学习模型。该方法可以进一步包括：基于一个或多个策略/参数阈值来检测训练数据与推断使用之间的一个或多个差异；将一个或多个差异分类为一个或多个误用；以及创建列出一个或多个的误用的误用指标。

技术领域

本文所描述的实施例总体上涉及数据处理，并且更具体地涉及促进在计算环境中可解释的人工智能的误用指标。

背景技术

随着人工智能(AI)的快速增长，提供了更新且越来越好的应用以允许由用户感知的学习、决策、和动作的更多、更容易的阶段。此类较新的应用基于可解释AI(XAI)来提供，该可解释AI(XAI)提供了可解释的模型和接口以用于与用户的更容易的交互和学习。

然而，随着AI和XAI被用于比以往更多的情况下，其中基于机器学习(ML)(诸如使用深度神经网络(DNN))的分类器数量更多，因此对于ML/深度学习(DL)模型的误用存在比以往更大可能性，并且甚至对其的感知也可能导致将负面含义与AI/XAI相关联。例如，已经存在对关于某些脸部识别技术的担忧，诸如与脸部识别模型的不当使用和泛化有关的法律和道德忧虑。

附图说明

在所附附图的各图中，以示例方式而不以限制方式对实施例进行说明，其中相同的附图标记指代类似的要素。

图1图示了根据一个实施例的采用误用评估机制的计算设备。

图2图示了根据一个实施例的误用评估机制。

图3A图示了根据一个实施例的用于评估AI模型中的误用的实时事务序列。

图3B图示了根据一个实施例的用于评估AI模型中的误用的系统。

图3C图示了根据一个实施例的用于在机器学习环境中进行训练和推断的事务序列。

图4图示了根据一个实施例的用于评估AI模型中的误用的方法。

图5图示了能够支持和实现一个或多个实施例的计算设备。

图6图示了根据一个实施例的机器学习软件栈。

图7A图示了根据一个实施例的神经网络层。

图7B图示了根据一个实施例的与神经网络层相关联的计算级。

具体实施方式

在下列描述中，阐述了众多特定细节。然而，在没有这些特定细节的情况下，也可实施如本文中所描述的实施例。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解模糊。

实施例提供了用于AI或XAI模型(诸如机器学习模型)的传递的新颖技术和允许通过基于模型训练和使用来建立误用指标来指示模型是否被(例如，在法律上、在道德上等)适当地使用的其他相关工具。在一个实施例中，检测到与模型相关联的训练数据与推断数据之间的任何不一致，可以随后通过误用指标来记录并报告此类信息，从而可以停止对模型的任何不当使用，并后续防止将来使用。

如本文档中进一步描述的，XAI模型(诸如ML模型)的适当使用可以是与任何政府法律、条例和/或法令、机构规则和/或法规、社会或社区标准、期望、和/或道德、个人价值观、品德和/或理想等相符合的那些。在一些实施例中，基于任何数量和类型的因素(诸如社会价值或期望等)被认为适当(或不适当)的事物可以是动态的，并且一旦确定了适当/不适当使用的最低水平，则可以基于该最低水平生成误用指标，以确保XAI模型至少符合最低值，进而在任何相关法律、规则、道德、期望等规定的范围内起作用。