[发明专利]训练任务优化系统、方法及其非暂态电脑可读媒体

说明书

一训练任务优化系统，包含一处理器。该处理器用以接收一训练任务的一训练环境信息。该训练环境信息包含对应于该训练任务中的多个训练样本的信息。该处理器用以依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配，并判断配适于该存储器分配的一小批次尺寸。响应于该训练环境信息，该处理器用以输出该小批次尺寸，使该训练任务被执行。本公开可为该训练任务选择合适的小批次尺寸，借此实现更佳的训练效率。

技术领域

本公开涉及一种计算系统、计算方法以及用以计算的非暂态电脑可读媒体。详细而言，本公开涉及一种用以优化训练任务的系统、方法以及非暂态电脑可读媒体。

背景技术

近期以来，神经网络以及深度学习被有效地应用于不同的技术领域，例如，其可应用于机器视觉、语音辨识以及机器翻译等领域当中。然而，在以巨量的训练数据进行训练时，需同时考量计算速度以及系统限制，否则系统执行训练任务的效率将降低。

发明内容

本公开的一方面涉及一种训练任务优化系统。该训练任务优化系统包含一处理器。该处理器用以接收一训练任务的一训练环境信息。该训练环境信息至少包含对应于该训练任务中的多个训练样本的信息。该处理器用以依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配。该处理器用以判断配适于该存储器分配的一小批次尺寸。响应于该训练环境信息，该处理器用以输出该小批次尺寸。

在一实施例中，该训练任务优化系统还包含一存储器。该存储器用以存储多个小批次尺寸以及多个运算效率之间对应关系的一信息，其中该小批次尺寸是依据所述多个运算效率自所述多个小批次尺寸当中选择的。

在另一实施例中，该训练任务优化系统还包含一互动接口。该互动接口用以输入该训练环境信息，其中该训练环境信息还包含对应于所述多个存储器影响因子以及该神经网络的信息。

在又一实施例中，该神经网络包含多个层，该处理器用以计算一第一需求空间，该第一需求空间包含指派予所述多个训练样本的空间以及指派予所述多个层对应的输出信息的空间。

在再一实施例中，该处理器用以自该神经网络获取多个模型参数，该处理器并计算一第二需求空间，该第二需求空间包含指派予所述多个模型参数的空间以及指派予多个梯度值的空间。

在一实施例中，所述多个层分别对应多个候选演算法，该处理器用以自所述多个候选演算法中为所述多个层中的每一者选择一演算法，该处理器并计算一第三需求空间，该第三需求空间包含指派予被选择的该演算法的运算缓冲空间。

在另一实施例中，该处理器用以依据所述多个存储器影响因子、该第一需求空间、该第二需求空间以及该第三需求空间计算该存储器分配。

在又一实施例中，该训练环境信息还包含该训练任务中的多个图形处理器的信息以及一预期效率的信息，该处理器用以依据该预期效率于所述多个图形处理器当中判断出一数量，并输出所述多个图形处理器的该数量。

在再一实施例中，该训练环境信息还包含该训练任务中的多个图形处理器的一数量的信息、多个参数服务器的信息以及一网络频宽的信息，该处理器用以依据所述多个图形处理器的该数量以及该网络频宽于所述多个参数服务器当中判断出一数量，并输出所述多个参数服务器的该数量。

本公开的另一方面涉及一种训练任务优化方法。该训练任务优化方法由一处理器所执行。该训练任务优化方法包含下列步骤：接收一训练任务的一训练环境信息，其中该训练环境信息至少包含对应于该训练任务中的多个训练样本的信息；依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配；判断配适于该存储器分配的一小批次尺寸；以及响应于该训练环境信息，输出该小批次尺寸。

在一实施例中，该训练任务优化方法还包含：获取多个小批次尺寸以及多个运算效率之间对应关系的一信息，其中该小批次尺寸是依据所述多个运算效率自所述多个小批次尺寸当中选择的。