[发明专利]一种基于强化学习的机械车间任务调度节能优化系统有效
申请号: | 201310205070.6 | 申请日: | 2013-05-28 |
公开(公告)号: | CN103390195B | 公开(公告)日: | 2016-11-09 |
发明(设计)人: | 何彦;王乐祥;刘波;李育锋;鄢萍;胡林明 | 申请(专利权)人: | 重庆大学 |
主分类号: | G06F19/00 | 分类号: | G06F19/00 |
代理公司: | 重庆博凯知识产权代理有限公司 50212 | 代理人: | 张先芸 |
地址: | 400044 *** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于强化学习的机械车间任务调度节能优化系统,包括调度目标函数模块、基础数据库、调度规则库、初次调度执行模块、节能优化规则库、节能优化模块、调度方案库。首先,在调度目标函数模块设定调度目标,通过从调度规则库中选取调度规则并利用基础数据库的基础数据,在初次调度执行模块执行初次调度,得到初次调度方案;然后,从系统外部知识拓展接口录入调度专家节能优化经验,得到节能优化规则;同时,在节能优化模块建立学习环境,包括车间能耗模型、加工时间模型及调度方案评价模型;最后,通过Q学习控制器和学习环境的交互为初次调度方案获取一个节能优化策略。该系统可以通过调度方法手段减少机械车间生产过程能量消耗,对于机械车间节能减排具有重大意义。 | ||
搜索关键词: | 一种 基于 强化 学习 机械 车间 任务 调度 节能 优化 系统 | ||
【主权项】:
一种基于强化学习的机械车间任务调度节能优化系统,包括:调度目标函数模块、基础数据库、调度规则库、初次调度执行模块、节能优化规则库、节能优化模块和调度方案库;其中,调度目标函数模块:设定调度目标为调度任务完成加工总能耗最小f1=min(EC)和总时间最小f2=min(T);基础数据库:包括工件信息、机床信息和加工信息;调度规则库:包括先到先服务(FCFS)规则;初次调度执行模块:利用从调度规则库选取的调度规则作为调度的运算法则,对调度任务包含的基础数据库的信息进行计算,确定各个工序的加工机床以及在机床上的加工顺序,从而得到初次调度方案;节能优化规则库:针对调度目标,对调度专家进行调研,统计节能优化经验,并把节能优化经验处理表示为if<判定条件>,then<执行动作1>,else<执行动作2>的语法形式,从系统外部知识拓展接口录入,存入节能优化规则库;节能优化模块:包括学习环境和Q学习控制器,通过Q学习控制器和学习环境的交互,为初次调度方案获取一个节能优化策略,其中:学习环境:包括车间能耗模型:加工时间模型:T=Tend‑Tstart;调度方案评估模型值:en=g(f1,f2);即为调度目标函数模块:设定调度目标为调度任务完成加工总能耗最小f1=min(EC)和总时间最小f2=min(T);其中:ECijk为工件i的第j道工序在机床k上的加工所需要能耗;Pk是机床k的待机功率;ITk为机床k的待机时间;Tstart为当前调度方案下首先加工工件的第一道工序加工开始时刻,Tend当前调度方案下最后加工工件的最后一道工序加工结束时刻;Q学习控制器:包括定义Q学习算法的动作集、状态空间、惩罚函数和算法流程,以及最终整个Q学习算法的运行;其中,1)动作集和状态空间划分:Q学习算法动作集合由通过专家节能优化经验转化的节能优化规则组成;动作集用a表示即a={a1,a2,...,aq};其中每一个动作就是指执行节能优化规则集合R={R1,R2,...,Ri}相应的规则;状态空间S={S0,S1,S2,S3,S4,S5}是指把调度方案评估模型值e作为Q学习算法状态划分变量,利用初次调度方案的评估模型值e0作为参考值,状态划分为:状态S0简写为状态0:0<e<0.6e0,同理其他五个状态分别为状态1:0.6e0≤e<0.8e0,状态2:0.8e0≤e<e0,状态3:e0≤e<1.2e0,状态4:1.2e0≤e<1.4e0,状态5:1.4e0≤e;2)惩罚函数:Q学习算法中的立即回报r选择;惩罚函数为:其中r为立即回报,e为评价函数值即调度方案评估模型值;3)算法流程:Q学习算法流程如下:步骤0:初始化Q值,对于所有的状态S和动作a,令α=0.1,γ=0.9,Q(S,a)=1,en=e0,n=1;步骤1:根据en值的范围获取当前状态St可执行优化规则集合R,若结束;否则转至步骤2;步骤2:根据步骤1获取的系统当前状态St所处的循环次数,若n>N,结束;否则转至步骤3;步骤3:计算每个动作的选取概率选取概率最大的动作aqmax,其中aq表示第q个动作;aqmax表示选取概率p(aq/St)最大的动作,步骤4:执行选取概率最大的动作aqmax,计算新的en+1值,根据en+1获得立即回报r和系统下一个状态St+1;步骤5:按照式:Q(St+1,aq)=(1‑α)Q(St,aq)+α(r+γV*)更新Q函数;步骤6:更新状态,令St=St+1,en=en+1,n=n+1;步骤7:转至步骤1,直到出现终止状态或者稳定状态;其中,N为算法循环次数,即学习周期;en为当前调度方案的调度方案评估模型值,en+1为执行了优化规则后新的调度方案的调度方案评估模型值;e0为初次调度方案的调度方案评估模型值;pmax(aq/St)为动作选择的概率的最大值,aqmax为pmax(aq/St)下的动作;在算法初始阶段,所有Q函数值均相等,但随着循环的反复,具有较大Q值的动作具有较大概率的被选中;学习率α的选择影响Q算法的学习效率;折扣系数γ越接近于0,学习越不考虑长远,更趋于接收即时奖惩;反之,越接近于1,学习越具有远见,能减少即时奖惩对学习策略的影响;调度方案库:用于存储初次调度方案和节能优化过程中不断更新的调度方案。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆大学,未经重庆大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201310205070.6/,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06 计算;推算;计数
G06F 电数字数据处理
G06F19-00 专门适用于特定应用的数字计算或数据处理的设备或方法
G06F19-10 .生物信息学,即计算分子生物学中的遗传或蛋白质相关的数据处理方法或系统
G06F19-12 ..用于系统生物学的建模或仿真,例如:概率模型或动态模型,遗传基因管理网络,蛋白质交互作用网络或新陈代谢作用网络
G06F19-14 ..用于发展或进化的,例如:进化的保存区域决定或进化树结构
G06F19-16 ..用于分子结构的,例如:结构排序,结构或功能关系,蛋白质折叠,结构域拓扑,用结构数据的药靶,涉及二维或三维结构的
G06F19-18 ..用于功能性基因组学或蛋白质组学的,例如:基因型–表型关联,不均衡连接,种群遗传学,结合位置鉴定,变异发生,基因型或染色体组的注释,蛋白质相互作用或蛋白质核酸的相互作用
G06F 电数字数据处理
G06F19-00 专门适用于特定应用的数字计算或数据处理的设备或方法
G06F19-10 .生物信息学,即计算分子生物学中的遗传或蛋白质相关的数据处理方法或系统
G06F19-12 ..用于系统生物学的建模或仿真,例如:概率模型或动态模型,遗传基因管理网络,蛋白质交互作用网络或新陈代谢作用网络
G06F19-14 ..用于发展或进化的,例如:进化的保存区域决定或进化树结构
G06F19-16 ..用于分子结构的,例如:结构排序,结构或功能关系,蛋白质折叠,结构域拓扑,用结构数据的药靶,涉及二维或三维结构的
G06F19-18 ..用于功能性基因组学或蛋白质组学的,例如:基因型–表型关联,不均衡连接,种群遗传学,结合位置鉴定,变异发生,基因型或染色体组的注释,蛋白质相互作用或蛋白质核酸的相互作用