[发明专利]一种基于资源受限机器人深度学习推理的任务分配方法

摘要

本发明公开了一种基于资源受限机器人深度学习推理的任务分配方法，目的是实现多机器人系统对机器人工程任务的任务分配。技术方案是搭建任务分配系统，构建层预测模型并存储在机器人上；任务机器人采集环境数据，模型解释模块提取模型层类型和相关参数配置，资源消耗估计子模块根据层预测模型估算每个机器人上的深度学习模型每个层的延迟；资源可用子模块查询任务分配系统资源状态；决策模块确定最佳任务分配方案，根据最佳任务分配方案对机器人节点进行工程任务的分配；机器人节点根据最佳任务分配方案进行工程任务的执行。采用本发明可以根据任务分配系统资源状态协调异构机器人之间的工程任务分配，优化工程任务的执行时间。

主权项

1.一种基于资源受限机器人深度学习推理的任务分配方法，其特征在于包括以下步骤：/n第一步，构建多机器人节点组成的任务分配系统，任务分配系统由各种异构的机器人节点构成，异构的机器人节点是具有不同计算能力和不同资源的计算设备，异构机器人节点通过WIFI互连；机器人节点按照功能的不同分为任务机器人节点、协作机器人节点；任务机器人节点是指基于深度学习的机器人工程任务的发起者，任务机器人节点与采集环境数据；协作机器人节点是指机器人环境中的其余机器人，负责支援任务机器人，与任务机器人协作完成工程任务；/n基于深度学习的机器人工程任务由开发人员在机器人执行任务之前封装定义存储在机器人中，机器人工程任务中使用的深度学习模型的模型文件和权重文件存储在机器人中，模型文件封装了深度学习模型的模型结构和模型参数，权重文件封装了深度学习模型训练得到的权重参数信息；/n任务机器人节点上除了装有操作系统Ubuntu外，还装有感知数据采集模块、模型解释模块、系统配置模块、决策模块、数据传输模块、深度学习推理模块；协作机器人节点上除了装有操作系统Ubuntu外，还装有数据传输模块、深度学习推理模块；任务机器人节点上安装的深度学习推理模块命名为第一深度学习推理模块，任务机器人节点上安装的数据传输模块命名为第一数据传输模块；协作机器人节点上安装的深度学习推理模块命名为第二深度学习推理模块，协作机器人节点上安装的数据传输模块命名为第二数据传输模块；第一深度学习推理模块和第一深度学习推理模块均装有深度学习框架Caffe；/n感知数据采集模块与第一深度学习推理模块相连，通过机器人传感器采集机器人周边的环境数据，将采集的环境数据传送到第一深度学习推理模块；/n第一深度学习推理模块与感知数据采集模块、模型解释模块、决策模块、第一数据传输模块相连，从感知数据采集模块接收环境数据，将任务开始的消息发送给模型解释模块，从决策模块接收最佳的任务分配计划、目标深度学习模型的模型规范和模型结构参数信息，利用已经装载的深度学习框架Caffe匹配模型结构参数信息，加载任务机器人节点的分区深度学习模型，基于分区深度学习模型对环境数据进行工程任务执行，得到工程任务执行中间结果，并将工程任务执行中间结果发送给第一数据传输模块；/n第一数据传输模块与第一深度学习推理模块、协作机器人节点的第二数据传输模块相连，从第一深度学习推理模块接收工程任务执行中间结果，将工程任务执行中间结果发送到第二数据传输模块；/n第二数据传输模块与第一数据传输模块、第二深度学习推理模块相连，第二数据传输模块接收工程任务执行中间结果，将工程任务执行中间结果发送给第二深度学习推理模块；/n第二深度学习推理模块与第二数据传输模块和任务机器人中的决策模块相连，第二深度学习推理模块从决策模块接收最佳任务分配方案、目标深度学习模型的结构、参数、模型规范、层输出数据大小，利用已经装载的深度学习框架Caffe匹配模型结构、参数，加载协作机器人的分区深度学习模型，从第二数据传输模块接收工程任务执行中间结果，利用协作机器人的分区深度学习模型继续执行工程任务，得到工程任务执行结果；所述层输出数据大小是指经过深度学习模型层执行输出的数据的大小；/n模型解释模块与第一深度学习推理模块、决策模块、系统配置模块相连，主要功能是提取深度学习模型的模型结构和参数；模型解释模块从第一深度学习推理模块接收任务开始的消息，提取机器人工程任务中使用的深度学习模型即目标深度学习模型，从目标深度学习模型中提取目标深度学习模型的结构和参数信息，将提取的目标深度学习模型结构、参数、模型规范、层输出数据大小发送到系统配置模块和决策模块；/n系统配置模块与模型解释模块、决策模块相连，系统配置模块是展现任务分配系统资源状态的模块，由资源消耗估计子模块、资源可用子模块组成；/n资源消耗估计子模块与模型解释模块、决策模块相连，资源消耗估计子模块接收从模型解释模块接收的模型结构、参数、模型规范、层输出数据大小，加载层预测模型预测出机器人工程任务可能分配计划在各机器人节点上的预计资源消耗，将预测出的资源消耗预测值发送到决策模块；/n资源可用子模块与决策模块相连；资源可用子模块在深度学习任务执行之前从操作系统中收集任务分配系统资源状态，将任务分配系统资源状态发送给决策模块；/n决策模块与模型解释模块、系统配置模块、第一深度学习推理模块、第二深度学习推理模块相连；决策模块从模型解释模块接收目标深度学习模型的模型结构、参数、模型规范、层输出数据大小，从资源消耗估计子模块接收资源消耗预测值，从资源可用子模块接收任务分配系统资源状态，根据目标深度学习模型的模型结构、参数、模型规范、层输出数据大小、资源消耗预测值、任务分配系统资源状态确定候选任务分配计划集合，并从候选任务分配计划集合中选择最佳任务分配方案，将最佳任务分配方案和目标深度学习模型的模型结构、参数、模型规范、层输出数据大小发送给第一深度学习推理模块、第二深度学习推理模块；/n第二步，为每个机器人节点构建基于深度学习的任务中的对深度学习模型延迟进行预测的预测模型，即为每个深度学习模型层类型构建预测模型，使得任务分配系统中的每种类型机器人节点都存储深度学习模型所有层类型的深度学习层预测模型；/n第三步，启动任务分配系统，任务机器人节点的资源可用子模块检测任务分配系统的资源状态，将检测得到的任务分配系统资源状态发送给决策模块；初始化时间变量t＝任务机器人节点的系统时间；/n第四步，任务机器人节点的感知数据采集模块利用任务机器人的传感器采集环境数据，感知数据模块判断采集的环境数据的大小是否达到存贮阈值C，C为正整数，单位为M，若未达到，转第四步；若达到，将采集的环境数据发送到任务机器人节点的第一深度学习推理模块，转第五步；若感知数据模块收到开发人员发出的“已完成整个环境的工程任务执行”的指令，则转第十二步；/n第五步，任务机器人节点的第一深度学习推理模块接收感知数据采集模块传来的环境数据，第一深度学习推理模块将任务开始消息发送给任务机器人节点的模型解释模块；/n第六步，模型解释模块从第一深度学习推理模块接收任务开始的消息，提取机器人工程任务中使用的深度学习模型，从深度学习模型文件和权重文件中提取目标深度学习模型的结构、参数、模型规范，将提取的目标深度学习模型结构、参数、模型规范、层输出数据大小发送到任务机器人节点的系统配置模块的资源消耗估计子模块和决策模块；/n第七步，任务机器人节点的资源消耗估计子模块从模型解释模块接收目标深度学习模型结构、参数、模型规范、层输出数据大小，调用在各机器人节点上存储的深度学习层预测模型估计在各个机器人节点上执行目标深度学习模型每个层在每个机器人节点上的资源消耗预测值，并将资源消耗预测值发送给决策模块，所述资源消耗预测值为(深度学习模型层，机器人节点IP地址，执行时间估计值，内存的占用量)这样的四元组；/n第八步，任务机器人节点的资源可用子模块检测任务分配系统的相关信息，若检测出任务分配系统中的任意机器人节点发生变化，则转到第四步；若资源可用子模块未检测出任务分配系统中的机器人节点发生变化，则资源可用子模块读取任务机器人节点的系统时间，令为t2，判定t2-t是否大于等于阈值T，T为正整数，单位为分钟，若t2-t大于等于阈值T，资源可用子模块将检测出的任务分配系统资源状态发送给决策模块，转第九步；若t2-t小于阈值T，直接转第九步；/n第九步，任务机器人节点的决策模块从模型解释模块接收目标深度学习模型结构、参数、模型规范、层输出数据大小，从资源消耗估计子模块接收资源消耗预测值，从资源可用子模块接收任务分配系统资源状态，根据目标深度学习模型结构选择一系列的候选任务分配计划，然后结合资源消耗预测值和任务分配系统资源状态生成最佳任务分配方案，将最佳任务分配方案发送给各机器人节点的深度学习推理模块，具体方法是：/n9.1 决策模块从资源消耗估计子模块接收资源消耗预测值，从资源可用子模块接收任务分配系统资源状态；/n9.2 决策模块从模型解释模块接收目标深度学习模型结构、参数、模型规范、层输出数据大小，将目标深度学习模型的模型结构每个层分界处作为候选分区点，按照深度学习模型层的顺序加入到候选分区点序列中，得到候选分区点序列D＝{d₁,d₂,…,d_d}，d为候选分区点的个数，d<目标深度学习模型的层数为N；/n9.3 决策模块为任务机器人节点和每个协作机器人节点根据候选分区点生成候选分区计划，结合任务分配系统资源状态缩减候选分区计划，生成候选任务分配计划，方法是：/n9.3.1 候选分区点将目标深度学习模型分成子模型即分区深度学习模型，令任务分配系统中机器人节点的集合P为任务分配系统中机器人节点的总数，P为正整数，IP_p为第p台机器人节点的IP地址，1≤p≤P；决策模块从候选分区点序列D中随机选择候选分区点组成的集合，要求选择候选分区点组成的集合中的元素数量d1小于机器人数量P，候选分区点组成的集合中元素的顺序和候选分区点序列D的顺序一致，得到候选分区点组成的集合的集合DD，DD中的元素为候选分区点组成的集合；/n9.3.2 决策模块根据DD将目标深度学习模型划分成P个分区，构成B个候选分区计划，这B个候选分区计划用候选分区计划集合β＝{β₁,…,β_b,…,β_B}表示，β_b为第b个候选分区计划，即按DD中第b个候选分区点组成的集合对目标深度学习模型进行分区得到的目标深度学习模型分区集合，B为候选分区计划总数，B为正整数，1≤b≤B；/n9.3.3 决策模块根据β，结合任务分配系统资源状态，根据分配准则生成将β中的候选分区计划分配给的候选任务分配计划集合E，E＝{E₁,E₂,…,E_e,…,E_∈}，ε为候选任务分配计划总数，ε为正整数，1≤e≤ε；E_e为第e候选任务分配计划，内容为β中的候选分区计划中的分区与机器人节点IP地址的对应关系；所述分配准则是：β中所有目标深度学习模型分区集合中的第一个分区分配给任务机器人节点；/n9.3.4 决策模块将E中满足以下2个条件之一的候选分区计划删除，得到缩减后的候选任务分配计划集合E1＝{E₁,…,E_i,…,E_θ}，θ为E1中候选分区计划总数，θ为正整数，1≤θ≤ε，E_i为E1中第i个候选分区计划,1≤i≤θ；/n条件1，候选任务分区计划E_i分配给机器人节点的分区的计算量大于机器人节点负载限制；/n条件2，候选任务分区计划E_i分配给机器人节点的分区的内存占用量大于机器人节点可用内存；/n9.4 决策模块检测E1中E₁,…,E_i,…,E_θ中除最后一个分区之外的所有分区输出数据大小，根据从资源可用子模块接收的任务分配系统资源状态中的无线网络带宽得到数据传输速率，计算这些分区输出数据的传输延迟，即传输延迟＝数据大小/数据传输速率；/n9.5 决策模块计算E1中每个候选任务分配计划的资源消耗预测值，得到E₁,…,E_i,…,E_θ的资源消耗预测值序列Y，Y＝{Y₁,…,Y_i,…,Y_θ}，Y_i为Y中第i个候选分区计划E_i的资源消耗预测值；/n9.6 决策模块对Y中的资源消耗预测值进行比较，选择具有最少资源消耗预测值的候选任务分配计划作为最佳任务分配方案，将最佳任务分配方案中交给任务机器人节点执行的分区命名为任务机器人节点的分区深度学习模型，将交给协作机器人节点执行的分区命名为协作机器人节点的分区深度学习模型；/n9.7 决策模块将最佳任务分配方案和从模型解释模块接收的目标深度学习模型的模型结构、参数、模型规范、层输出数据大小发送给任务机器人节点的第一深度学习推理模块和协作机器人节点的第二深度学习推理模块；/n第十步，任务机器人节点的第一深度学习推理模块和协作机器人节点的第二深度学习推理模块接收决策模块发送的最佳任务分配方案、目标深度学习模型的模型结构、参数、模型规范、层输出数据大小；任务机器人节点根据最佳任务分配方案得到任务机器人节点的分区深度学习模型，协作机器人节点根据最佳任务分配方案得到协作机器人节点的分区深度学习模型；任务机器人节点的第一深度学习推理模块基于任务机器人节点的分区深度学习模型对感知数据采集模块发送来的环境数据执行工程任务，得到该分区深度学习模型输出的工程任务执行中间结果，将工程任务执行中间结果发送给第一数据传输模块；第一数据传输模块将工程任务执行中间结果发送到协作机器人节点的第二数据传输模块；第二深度学习推理模块从第二数据传输模块接收工程任务执行中间结果，根据协作机器人节点的分区深度学习模型继续执行工程任务，得到工程任务执行结果；/n第十一步，至此，一个任务分配的过程完毕；转第八步；/n第十二步，工程任务执行结束。/n