[发明专利]深度学习日志管理方法在审
申请号: | 202211019836.7 | 申请日: | 2022-08-24 |
公开(公告)号: | CN115357464A | 公开(公告)日: | 2022-11-18 |
发明(设计)人: | 叶浩晨;周再达;张文蔚;龚涛;陈恺 | 申请(专利权)人: | 上海人工智能创新中心 |
主分类号: | G06F11/34 | 分类号: | G06F11/34;G06F16/18;G06N20/00 |
代理公司: | 上海智晟知识产权代理事务所(特殊普通合伙) 31313 | 代理人: | 银英君 |
地址: | 200232 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 深度 学习 日志 管理 方法 | ||
1.一种深度学习日志管理方法,其特征在于,包括:
提供历史缓冲区,其被配置为具有基本统计功能,且统计方式可扩展,以用于记录深度学习不同类型训练日志;
提供消息枢纽,其被配置为能够被全局访问,且能记录/分发组件日志信息;以及
提供日志处理器,其被配置为能够根据构造函数传参,制定相应字段日志的统计方式和统计名称。
2.如权利要求1所述的深度学习日志管理方法,其特征在于,还包括:
通过在任意位置的接口调用,新增任意自定义的日志;
输出训练过程中记录的通用参数,其中通用参数包括损失、评价指标、学习率和迭代时间;
使用者在训练启动阶段配置深度学习日志管理系统的相关参数,以指定自定义的统计方式;
使用者能够非侵入式的扩展日志统计方式;
使用者能够在任意位置增加日志统计内容,并配合深度学习日志管理系统的参数选择其统计方式;
支持输出统一日志、以及不同统计方式的结果。
3.如权利要求2所述的深度学习日志管理方法,其特征在于,深度学习日志管理系统收集、记录数据,包括:
历史缓冲区存储不同类型日志,并提供基本且可扩展的统计方法;
消息枢纽存储一次训练过程中生成的日志,该日志是一个全局可访问的变量;
各个模块调用其接口将需要记录的日志以历史缓冲区或其他数据类型的形式存储到消息枢纽中;
日志记录器解析消息枢纽中存储的日志信息,输出格式化后的日志。
4.如权利要求3所述的深度学习日志管理方法,其特征在于,历史缓冲区的接口包括:
获取最小值接口,被配置为接口功能描述为窗口内历史日志的最小值,接口参数列表为窗口大小window_size;
获取最大值接口,被配置为接口功能描述为窗口内历史日志的最大值,接口参数列表为窗口大小window_size;
获取当前值接口,被配置为接口功能描述为返回最近一次更新的日志,接口参数列表无;
获取均值接口,被配置为接口功能描述为返回窗口内历史日志的均值,接口参数列表为窗口大小window_size;
更新日志接口,被配置为接口功能描述为更新历史日志和历史计数,接口参数列表包括日志的值value及日志的累加次数count;
统计接口,被配置为接口功能描述为根据传入的字符选择统计方法,并传入相应参数,接口参数列表包括统计方法名method_name及统计方法需要的参数*args,**kwargs;
注册统计方法接口,被配置为接口功能描述为注册统计方法,被注册的方法可以被统计接口调用,接口参数列表为被注册的方法method;以及
返回数据接口,被配置为接口功能描述:返回历史日志和历史计数,接口参数列表无。
5.如权利要求4所述的深度学习日志管理方法,其特征在于,历史缓冲区接口约定包括:
历史缓冲区存储对应日志的历史记录,以支持用不同的方式来统计日志;
历史缓冲区的更新日志接口接受两个参数,分别用于更新历史日志和历史计数;
历史缓冲区支持扩展,使用者通过注册统计方法接口将自定义的统计方法注册到统计字典,再通过统计方法,传入对应的字符串,调用自定义的统计方法;
历史缓冲区定义一种统一的日志存储格式,并为其提供可扩展的统计方法,使用者通过统一的接口,传入不同的字符串,调用对应的统计方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海人工智能创新中心,未经上海人工智能创新中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211019836.7/1.html,转载请声明来源钻瓜专利网。