[发明专利]一种深度学习训练过程数据转化为可视化数据方法和系统

说明书

本发明涉及深度学习技术领域，具体涉及一种深度学习训练过程数据转化为可视化数据方法和系统，该方法包括：步骤一，定义可视化数据类型：基于Protobuf以自定义或编写的文件名为xxx的Proto文件，生成包含同一文件名的xxx_pb2.py代码；步骤二，数据转化：Python端通过调用summary_xxx.py将相应的训练过程数据转化为可视化数据，并组装成Protobuf类型的message对象或者Json字符串，C++端通过调用event_writer_helper组件或者summary_converter.h将获取的训练过程数据根据不同的需求进行处理后转化为可视化数据，并组装成Protobuf类型的message对象；步骤三，数据生成：将Python端或C++端生成的可视化数据写入日志文件。本发明极大地方便了模型训练过程中对于训练中间结果的数据分析和异常处理，提高了模型训练的效率。

技术领域

本发明涉及深度学习技术领域，具体涉及一种深度学习训练过程数据转化为可视化数据方法和系统。

背景技术

可视化（visualization），是指将一些格式化或者非格式化的数据，利用图、 表等方式，形象地呈现给用户的过程。可视化呈现的结果，可以形象地反映出数据的分布、演化、规模大小等特征，在计算机科学的数据处理，数据分析，深度学习等方面有着广泛的应用。在深度学习训练过程中，涉及并生成大量的训练相关数据，通过可视化的方式，可以直观的将训练过程的数据分布，深度神经网络特征，训练结果评估等信息呈现给深度学习开发者和用户。在深度学习训练过程中，数据由深度学习框架生成并管理，为了在一个可视化的前端对这些数据进行展示，我们需要对深度学习框架中产生的数据赋予相应的格式，并进行序列化处理，然后将序列化的数据交给可视化系统的后台解析，再将相应的数据展示到可视化系统的前端。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种深度学习训练过程数据转化为可视化数据方法和系统，其具体技术方案如下：

一种深度学习训练过程数据转化为可视化数据方法，包括如下步骤：

步骤一，定义可视化数据类型：基于Protobuf以自定义或编写的文件名为xxx的Proto文件， 生成包含同一文件名的xxx_pb2.py代码；

步骤二，数据转化：Python端通过调用summary_xxx.py将相应的训练过程数据转化为可视化数据，并组装成Protobuf类型的message对象或者Json字符串，C++端通过调用event_writer_helper组件或者summary_converter.h将获取的训练过程数据根据不同的需求进行处理后转化为可视化数据，并组装成Protobuf类型的message对象；

步骤三，数据生成：将Python端或C++端处理完成的可视化数据，经过Protobuf的message对象首尾字符串的编码之后写入到日志文件。

优选的，所述Proto文件包括：summary.proto、graph.proto、tensor.proto、projector.proto和event.proto。

优选的，所述Python端通过调用summary_xxx.py将相应的训练过程数据转化为可视化数据，具体包括：

Python端调用summary_graph.py将从C++端获取到的计算图和结构图转化为对应的可视化数据；

Python端调用summary_hparams.py将用户输入的超参数转化为对应的可视化数据，并传到 C++端；

Python端调用summary_projector.py将C++端获取的训练过程数据转化为对应的降维分析和异常检测可视化数据；

所述C++端通过调用event_writer_helper组件或者summary_converter.h将获取的训练过程数据根据不同的需求进行处理后转化为可视化数据，具体包括：

C++端调用histogram.h将Python端传来的Tensor转化为对应的统计分析可视化数据；