[发明专利]用于使神经网络的操作可视化的技术

说明书

如所描述，一种人工智能(AI)设计应用程序向用户展示用于生成、分析、评估和描述神经网络的各种工具。所述AI设计应用程序包括网络生成器，所述网络生成器基于用户与网络体系结构的图形描绘的交互来生成和/或更新定义神经网络的程序代码。所述AI设计应用程序还包括网络分析器，所述网络分析器响应于测试输入而在层水平、神经元水平和权重水平处分析神经网络的行为。所述AI设计应用程序还包括网络评估器，所述网络评估器跨训练数据样本的范围执行对神经网络的综合评估。最后，所述AI设计应用程序包括网络描述器，所述网络描述器用自然语言表述神经网络的行为，并且根据规则集约束所述行为。

相关申请的交叉引用

本申请要求于2019年7月8日提交的美国专利申请序列号16/505,590的权益，其据此通过引用并入本文。

背景技术

技术领域

本发明的实施方案大体涉及计算机科学和人工智能，并且更具体地，涉及用于创建、分析和修改神经网络的技术。

现有技术描述

在常规神经网络设计过程中，设计者编写程序代码以开发解决特定类型问题的神经网络体系结构。举例来说，设计者可以编写Python代码来设计将图像分类成不同类别的一个或多个神经网络层。设计者然后使用训练数据以及当处理该训练数据时神经网络应当产生的目标输出来训练神经网络。举例来说，设计者可以基于图像集来训练神经网络，该图像集显示各种景观以及指示该图像集中示出的景观的类型的标记。

在训练过程期间，训练算法更新神经网络的各层中所包括的权重，以提高神经网络生成与目标输出一致的输出的准确度。一旦训练完成，则使用验证数据来确定神经网络的准确度。如果神经网络未产生相对于验证数据足够准确的结果，则可以更新神经网络以提高整体准确度。举例来说，可以使用附加的训练数据来训练神经网络，直到神经网络产生更准确的结果。

神经网络可以具有不同范围的网络体系结构。“深度”神经网络通常具有复杂的网络体系结构，该网络体系结构包括许多不同类型的层和不同层当中错综复杂的连接拓扑。一些深度神经网络可以具有十个或更多个层，其中每个层可以包括数百或数千个单独的神经元，并且每个层可以经由数百或数千个单独的连接耦合到一个或多个其他层。因为深度神经网络可以被训练为以高度的准确度执行宽范围的任务，所以在人工智能领域中越来越广泛地采用深度神经网络。然而，在设计深度神经网络时会出现各种问题。

首先，通常与深度神经网络相关联的复杂网络体系结构可能使设计和生成深度神经网络变得困难。当设计给定的深度神经网络时，设计者通常必须编写大量的复杂代码，这些代码定义每一层如何运行，指定各层如何耦合在一起，以及描述由不同层执行的各种操作。为了简化该过程，设计者通常依赖于一个或多个程序设计库，这些程序设计库展示有助于深度神经网络设计的各种工具。然而，使用这些类型的程序设计库的一个缺点在于，这些程序设计库通常会使设计者对深度神经网络的设计感到困惑，因而妨碍设计者理解正在设计的深度神经网络实际上是如何运行的。因此，如果需要进行改变，则设计者可能难以修改深度神经网络。

第二，通常与深度神经网络相关联的复杂神经网络体系结构可能使得给定的深度神经网络的功能难以被理解。结果，普通设计者可能在分析给定的深度神经网络的行为以及确定深度神经网络的哪些组成部分负责产生特定的行为或结果方面遇到麻烦。此外，由于通常用于定义和实现给定的深度神经网络的大量代码，普通设计者可能难以定位与深度神经网络的任何给定组成部分相关联的特定代码部分。因此，当给定的深度神经网络未按预期运行时，设计者通常无法确定为何深度神经网络未按预期运行或者如何修复或修改深度神经网络底层的代码。