[发明专利]用于使神经网络的操作可视化的技术

权利要求书

1.一种用于分析神经网络已被如何训练的计算机实现的方法，所述方法包括：

使所述神经网络基于多个训练数据样本来执行推理操作以生成多个激活数据部分，其中每个训练数据样本对应于不同的激活数据部分；

基于与每个训练数据样本相对应的所述激活数据部分，为所述训练数据样本生成位置值；以及

生成图形用户界面，所述图形用户界面基于为位于所述图形用户界面内的每个训练数据样本生成的所述位置值来显示所述训练数据样本。

2.如权利要求1所述的计算机实现的方法，其中为每个训练数据样本生成所述位置值包括：基于所述多个激活数据部分来执行降维操作。

3.如权利要求1所述的计算机实现的方法，其中给定的激活数据部分包括N维向量，其中N是大于二的正整数，并且其中所述图形用户界面包括所述多个激活数据部分的二维投影。

4.如权利要求1所述的计算机实现的方法，其中生成所述图形用户界面包括：基于所述多个激活数据部分来生成t分布式随机邻域嵌入(t-SNE)图。

5.如权利要求1所述的计算机实现的方法，其中生成所述图形用户界面包括：

基于为每个训练数据样本生成的所述位置值来对所述训练数据样本进行排名，以产生多个经排名的训练数据样本；以及

在网格内定位每个经排名的训练数据样本。

6.如权利要求1所述的计算机实现的方法，其还包括：

基于与每个训练数据样本相对应的所述激活数据部分中所包括的至少一个激活水平，为所述训练数据样本生成置信度值；

经由所述图形用户界面接收对第一置信度准则的选择；

确定具有满足所述第一置信度准则的置信度值的训练数据样本子集；以及

更新所述图形用户界面以移除所有未被包括在所述训练数据样本子集中的训练数据样本。

7.如权利要求6所述的计算机实现的方法，其中确定所述训练数据样本子集包括：标识具有大于与所述置信度准则相对应的置信度阈值的置信度值的至少一个训练数据样本。

8.如权利要求6所述的计算机实现的方法，其中确定所述训练数据样本子集包括：标识具有小于与所述置信度准则相对应的置信度阈值的置信度值的至少一个训练数据样本。

9.如权利要求6所述的计算机实现的方法，其中确定所述训练数据样本子集包括：标识与当执行所述推理操作时指示所述神经网络的不正确输出的激活数据部分相对应的至少一个训练数据样本。

10.如权利要求1所述的计算机实现的方法，其还包括：

通过确定第一激活水平与第二激活水平之间的差值来为每个训练数据样本生成置信度值，所述第一激活水平包括在与所述训练数据样本相对应的所述激活数据部分中，所述第二激活水平包括在与所述训练数据样本相对应的所述激活数据部分中；以及

基于为每个训练数据样本生成的所述置信度值来更新所述图形用户界面以显示所述训练数据样本。

11.一种存储程序指令的非暂时性计算机可读介质，所述程序指令在由处理器执行时使所述处理器通过执行以下步骤来分析神经网络已被如何训练：

使所述神经网络基于多个训练数据样本来执行推理操作以生成多个激活数据部分，其中每个训练数据样本对应于不同的激活数据部分；以及

生成图形用户界面，所述图形用户界面基于位置值来显示位于所述图形用户界面内的每个训练数据样本，所述位置值是基于与每个训练数据样本相对应的所述激活数据部分为所述训练数据样本生成的。

12.如权利要求11所述的非暂时性计算机可读介质，其中为每个训练数据样本生成所述位置值包括：基于所述多个激活数据部分来执行降维操作。