[发明专利]深度学习日志管理方法

说明书

本发明提供了一种深度学习日志管理方法，包括：提供历史缓冲区，其被配置为具有基本统计功能，且统计方式可扩展，以用于记录深度学习不同类型训练日志；提供消息枢纽，其被配置为能够被全局访问，且能记录/分发组件日志信息；以及提供日志处理器，其被配置为能够根据构造函数传参，制定相应字段日志的统计方式和统计名称。本发明的历史缓冲区统计方式可扩展，用于记录深度学习不同类型训练日志，实现了轻量级的注册机制；消息枢纽全局可访问的特性允许用户在任意位置获取当前的消息枢纽，实现了全局变量管理机制。

技术领域

本发明涉及人工智能技术领域，特别涉及一种深度学习日志管理方法。

背景技术

深度学习框架在训练神经网络时通常需要记录训练过程中产生的日志，例如损失、评价指标、学习率、迭代时间等。其中损失用于衡量训练阶段神经网络收敛的好坏，通常需要基于迭代次数平滑后取均值；评价指标用于衡量模型在验证集上的表现，仅反应模型当下的状态，无需做平滑处理；学习率通常表现为当前迭代次数，模型参数更新的幅度，无需做平滑处理；迭代时间反应模型迭代的速度，通常需要基于迭代次数平滑后取均值。不同类型日志的数据源不同、统计方式不同，因此需要一套日志系统来收集日志、统计日志、输出日志。

深度学习框架通常会对日志内容做一些假设，例如输出的日志只统计损失、评价指标、学习率和迭代时间，日志的数据源来自固定的模块，进而输出内容固定、统计方式固定、风格统一的日志，满足大部分的深度学习任务。

尽管上述方案可以满足大部分日志需求，但是如果特定任务需要输出额外的日志内容，且日志的数据源来自一些自定义的组件，使用者需要理解整套日志系统的运作方式，才能修改输出日志部分的代，输出期望的日志。

发明内容

本发明的目的在于提供一种深度学习日志管理方法，以解决现有的深度学习日志管理系统难以满足特定任务需要输出额外的日志内容的需求的问题。

为解决上述技术问题，本发明提供一种深度学习日志管理方法，包括：

提供历史缓冲区，其被配置为具有基本统计功能，且统计方式可扩展，以用于记录深度学习不同类型训练日志；

提供消息枢纽，其被配置为能够被全局访问，且能记录/分发组件日志信息；以及

提供日志处理器，其被配置为能够根据构造函数传参，制定相应字段日志的统计方式和统计名称；

其中基本统计功能包括最大统计、最小统计、均值统计；其中在训练过程中，各个组件产生的日志为由历史缓冲区传输至消息枢纽、由消息枢纽传输至日志处理器的日志流。

可选的，在所述的深度学习日志管理方法中，还包括：

通过在任意位置的接口调用，新增任意自定义的日志；

输出训练过程中记录的通用参数，其中通用参数包括损失、评价指标、学习率和迭代时间；

使用者在训练启动阶段配置深度学习日志管理系统的相关参数，以指定自定义的统计方式；

使用者能够非侵入式的扩展日志统计方式；

使用者能够在任意位置增加日志统计内容，并配合深度学习日志管理系统的参数选择其统计方式；

支持输出统一日志、以及不同统计方式的结果。

可选的，在所述的深度学习日志管理方法中，深度学习日志管理系统收集、记录数据，包括：

历史缓冲区存储不同类型日志，并提供基本且可扩展的统计方法；

消息枢纽存储一次训练过程中生成的日志，该日志是一个全局可访问的变量；

各个模块调用其接口将需要记录的日志以历史缓冲区或其他数据类型的形式存储到消息枢纽中；