[发明专利]基于人工智能框架的算法训练推理性能可视化方法及装置

说明书

本发明公开了一种基于人工智能框架的算法训练推理性能可视化方法及装置，属于深度学习技术领域。本发明能够将深度学习模型在人工智能框架上的算法训练或推理过程的数据转换为通用的Protobuf数据格式，通过计算深度模型网络中的节点延迟和节点效率来可视化人工智能框架的性能表现，方便用户分析和优化算法模型。本发明提供了比较不同人工智能框架的算法训练或推理性能的方法，适用于不同的人工智能框架，为用户比较和选择合适的人工智能框架以及优化模型结构提供帮助。

技术领域

本发明属于深度学习技术领域，具体涉及一种基于人工智能框架的算法训练推理性能可视化方法及装置。

背景技术

随着深度学习技术的快速发展，部分学界和业界机构陆续宣布开源国产人工智能框架，这些人工智能框架所支持的硬件和计图的训练、推理速度大同小异。延迟是算法模型收到数据请求与做出反应之间所需要的时间，不同的任务对延迟要求不尽相同，例如语音识别、图像和视频管理就是一种需要低延迟、实时推理服务的应用。而深度学习模型的延迟与其选择的人工智能框架也紧密相关。因此，不同的深度学习模型需要选择各自合适的人工智能框架，以便于最大程度优化模型的训练及推理性能。

在对深度学习模型进行优化以及选择深度学习模型所采用的人工智能框架时，传统做法需要依赖于经验或者不断地尝试，但是该做法的可迁移性程度较低。而模型可视化技术的出现，为此类问题的解决提供了一种可行的方案。例如，在申请号为CN202011174990.2的发明专利中提供了一种深度学习训练实时可视化方法及装置，在申请号为CN202110691724.5的发明专利中提供了一种深度学习训练过程数据转化为可视化数据方法和系统。这些现有技术都为深度学习模型训练的可视化提供了相应的解决方案。但是这些解决方案主要用于模型训练过程中中间结果的数据进行分析和异常处理，没有比较深度学习经典模型在不同的人工智能框架上的性能表现。而且，此类方案没有考虑深度学习模型对于延迟的优化需求，无法保证优化出的深度学习模型满足低延迟、实时推理服务的应用需求。

因此，需要针对深度学习模型的自身优化以及人工智能框架的选择，提供一种算法训练及推理性能可视化方法，以便于可视化人工智能框架在训练和推理时的性能表现，从而在考虑模型延迟的情况下，为用户比较和选择合适的人工智能框架以及优化模型结构提供帮助。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种基于人工智能框架的算法训练推理性能可视化方法及装置。本发明通过计算深度模型网络中数据的传播延迟和传播速率来可视化人工智能框架在训练和推理时的性能表现，为用户比较和选择合适的人工智能框架以及优化模型结构提供帮助。

本发明所采用的具体技术方案如下：

第一方面，本发明提供了一种基于人工智能框架的算法训练推理性能可视化方法，其包括：

S1、基于目标人工智能框架构建目标深度学习模型，并在目标深度学习模型中选择网络节点作为观察节点，所述观察节点至少包含模型的输入节点和输出节点；

S2、在所述目标深度学习模型的训练或推理过程中监听每个观察节点收到的数据请求信息；在任一观察节点收到数据请求信息时，将该观察节点获取到的数据转换为Protobuf数据格式并记录该观察节点处理的数据量，同时记录该观察节点收到数据请求信息后不同处理状态对应的时间信息，从而计算该观察节点的节点延迟；

S3、根据针对每个观察节点记录的所述数据量和所述节点延迟，计算得到基于目标人工智能框架构建的目标深度学习模型的传播速率和阻塞率；

S4、对所述传播速率和阻塞率进行节点信息可视化，形成目标深度学习模型中各观察节点的传播速率可视化结果和阻塞率可视化结果。

作为上述第一方面的优选，所述目标深度学习模型用节点和有向边组成的数据流图表示，其中每个节点对应于一个具体的模型载体操作，且模型载体操作的节点类型分为计算节点、存储节点和数据节点三类。