[发明专利]一种日志文件输出的方法、系统、设备及可读存储介质

说明书

本申请公开了一种日志文件输出的方法，包括：接收日志文件输出命令，并根据日志文件输出命令获取对应的日志文件；判断日志文件的大小是否大于阈值；若是，则确定日志文件输出命令的类型；当日志文件输出命令的类型为可视化输出类型时，对日志文件进行粒度放大处理；将经过粒度放大处理后的日志文件转换为可视化格式，并输出可视化格式的日志文件。本申请通过对大于阈值的日志文件进行粒度放大处理，使得得到的日志文件数据量更小，进而在进行可视化展示时降低了对AI平台IO资源的占用，使得模型训练过程更加方便高效，并提高了AI平台的使用效果。本申请同时还提供了一种日志文件输出的系统、设备及可读存储介质，具有上述有益效果。

技术领域

本申请涉及日志文件输出领域，特别涉及一种日志文件输出的方法、系统、设备及可读存储介质。

背景技术

随着人工智能的快速发展，众多机构都在AI平台上进行深度模型训练，能够有效降低企业的成本，提高企业资源的利用率。然而，在对模型进行训练过程中，由于模型本身的参数配置复杂，且数据样本的规模较大，导致训练周期一般较长，此时部分任务会产生较大的模型日志。工作人员在对模型训练过程进行查看时(进行日志查看时，可视化迭代过程展示等操作)，如果日志文件较大，会造成AI平台显示超时，并导致集群读写IO较高，这会对其他模型的正常训练造成影响，也会影响到AI平台中其它模块的使用。

因此，如何降低日志文件输出对AI平台IO资源的占用是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种日志文件输出的方法、系统、设备及可读存储介质，用于降低日志文件输出对AI平台IO资源的占用。

为解决上述技术问题，本申请提供一种日志文件输出的方法，该方法包括：

接收日志文件输出命令，并根据所述日志文件输出命令获取对应的日志文件；

判断所述日志文件的大小是否大于阈值；

若是，则确定所述日志文件输出命令的类型；其中，所述日志文件输出命令的类型包括可视化输出类型；

当所述日志文件输出命令的类型为所述可视化输出类型时，对所述日志文件进行粒度放大处理；

将经过粒度放大处理后的所述日志文件转换为可视化格式，并输出所述可视化格式的日志文件。

可选的，所述日志文件输出命令的类型包括全输出类型，当所述日志文件输出命令的类型为所述全输出类型时，还包括：

将所述日志文件划分为多个预设大小的日志子文件；

按照时间顺序依次输出每个所述日志子文件。

可选的，当所述日志文件的大小小于或等于所述阈值时，还包括：

输出所述日志文件。

可选的，对所述日志文件进行粒度放大处理，包括：

对所述日志文件进行时间粒度放大处理。

可选的，对所述日志文件进行粒度放大处理，包括：

对所述日志文件进行迭代步数粒度放大处理。

本申请还提供一种日志文件输出的系统，该系统包括：

接收模块，用于接收日志文件输出命令，并根据所述日志文件输出命令获取对应的日志文件；

判断模块，用于判断所述日志文件的大小是否大于阈值；

确定模块，用于当所述日志文件的大小大于阈值时，确定所述日志文件输出命令的类型；其中，所述日志文件输出命令的类型包括可视化输出类型；