[发明专利]一种深度学习训练过程数据转化为可视化数据方法和系统

权利要求书

1.一种深度学习训练过程数据转化为可视化数据方法，其特征在于，包括如下步骤：

步骤一，定义可视化数据类型：基于Protobuf以自定义或编写的文件名为xxx的Proto文件， 生成包含同一文件名的xxx_pb2.py代码；

步骤二，数据转化：Python端通过调用summary_xxx.py将相应的训练过程数据转化为可视化数据，并组装成Protobuf类型的message对象或者Json字符串，C++端通过调用event_writer_helper组件或者summary_converter.h将获取的训练过程数据根据不同的需求进行处理后转化为可视化数据，并组装成Protobuf类型的message对象；

步骤三，数据生成：将Python端或C++端处理完成的可视化数据，经过Protobuf的message对象首尾字符串的编码之后写入到日志文件。

2.如权利要求1所述的一种深度学习训练过程数据转化为可视化数据方法，其特征在于，所述Proto文件包括：summary.proto、graph.proto、tensor.proto、projector.proto和event.proto。

3.如权利要求1所述的一种深度学习训练过程数据转化为可视化数据方法，其特征在于，所述python端通过调用summary_xxx.py将相应的训练过程数据转化为可视化数据，具体包括：

Python端调用summary_graph.py将从C++端获取到的计算图和结构图转化为对应的可视化数据；

Python端调用summary_hparams.py将用户输入的超参数转化为对应的可视化数据，并传到 C++端；

Python端调用summary_projector.py将C++端获取的训练过程数据转化为对应的降维分析和异常检测可视化数据；

所述C++端通过调用event_writer_helper组件或者summary_converter.h将获取的训练过程数据根据不同的需求进行处理后转化为可视化数据，具体包括：

C++端调用histogram.h将Python端传来的Tensor转化为对应的统计分析可视化数据；

C++端直接将其从Python端获取或者用户输入的标量数据和文本数据组装成Protobuf格式的消息转化为可视化数据；

C++端通过调用event_writer_helper组件，将图像数据的格式转换成NHWC的格式，然后将图像数据按batch维进行切割得到多个单独的Image并写入Protobuf，生成相应的可视化数据。

4.如权利要求3所述的一种深度学习训练过程数据转化为可视化数据方法，其特征在于，所述C++端通过调用summary_converter.h文件中的ConvertProtobufMsg2Json方法，将从C++端生成的计算图和结构图按字段进行筛选和简化重组，利用Protobuf的reflection特性，从Protobuf格式转换成对应的Json格式，并将转化的可视化数据传到Python端。

5. 如权利要求3所述的一种深度学习训练过程数据转化为可视化数据方法，其特征在于，所述超参数包括：IntegerRange、RealRange、ValueSet以及 Metric，且超参数支持string、int、 double等内置类型。

6. 如权利要求1所述的一种深度学习训练过程数据转化为可视化数据方法，其特征在于，所述步骤三，具体包括： Python端直接将message对象或者Json字符串写到可视化日志文件中；C++端将可视化数据的message对象，通过events_writer日志持久化组件写到可视化日志文件中。