[发明专利]基于人工智能框架的算法训练推理性能可视化方法及装置

权利要求书

1.一种基于人工智能框架的算法训练推理性能可视化方法，其特征在于，包括：

S1、基于目标人工智能框架构建目标深度学习模型，并在目标深度学习模型中选择网络节点作为观察节点，所述观察节点至少包含模型的输入节点和输出节点；

S2、在所述目标深度学习模型的训练或推理过程中监听每个观察节点收到的数据请求信息；在任一观察节点收到数据请求信息时，将该观察节点获取到的数据转换为Protobuf数据格式并记录该观察节点处理的数据量，同时记录该观察节点收到数据请求信息后不同处理状态对应的时间信息，从而计算该观察节点的节点延迟；

S3、根据针对每个观察节点记录的所述数据量和所述节点延迟，计算得到基于目标人工智能框架构建的目标深度学习模型的传播速率和阻塞率；

S4、对所述传播速率和阻塞率进行节点信息可视化，形成目标深度学习模型中各观察节点的传播速率可视化结果和阻塞率可视化结果。

2.如权利要求1所述的基于人工智能框架的算法训练推理性能可视化方法，其特征在于，所述目标深度学习模型用节点和有向边组成的数据流图表示，其中每个节点对应于一个具体的模型载体操作，且模型载体操作的节点类型分为计算节点、存储节点和数据节点三类。

3.如权利要求1所述的基于人工智能框架的算法训练推理性能可视化方法，其特征在于，所述观察节点中，除模型的输入节点和输出节点之外，其余的观察节点选择以节点的度或节点的介数中心性为节点重要性指标进行推荐，且所选择的节点重要性指标值与节点的重要性正相关。

4.如权利要求1所述的基于人工智能框架的算法训练推理性能可视化方法，其特征在于，所述观察节点在收到全部数据请求信息后，使用Protobuf序列化工具对该观察节点处理的数据信息进行格式转换并存储于缓冲区内，当处理完全部数据请求后，统计缓冲区中按Protobuf数据格式存储的数据量大小，进而得到该观察节点处理的数据量。

5.如权利要求1所述的基于人工智能框架的算法训练推理性能可视化方法，其特征在于，所述传播速率为观察节点处理的数据量与节点处理延迟的比值；所述节点处理延迟为观察节点收到全部数据请求到处理完全部数据请求之间的时间延迟；

所述阻塞率为观察节点的节点接收延迟与观察节点的节点时间延迟的比值；所述节点接收延迟为观察节点接收全部数据请求的有效时间之和；所述节点时间延迟为观察节点开始收到数据请求到观察节点接收完毕全部数据请求之间的时间延迟。

6.如权利要求1所述的基于人工智能框架的算法训练推理性能可视化方法，其特征在于，在所述目标深度学习模型的训练或推理过程中，需要按数据请求周期性更新计算各观察节点的传播速率和阻塞率，并按序记录后以图或者表的形式进行节点信息可视化展示。

7.如权利要求1所述的基于人工智能框架的算法训练推理性能可视化方法，其特征在于，将同一深度学习模型分别构建于不同的人工智能框架上，并分别得到不同人工智能框架构建的深度学习模型中各观察节点的传播速率可视化结果和阻塞率可视化结果，用于辅助进行人工智能框架的选择和深度学习模型的网络结构优化。