[发明专利]两轮自平衡车的机器学习控制方法有效
申请号: | 201710343873.6 | 申请日: | 2017-05-16 |
公开(公告)号: | CN107065561B | 公开(公告)日: | 2019-11-22 |
发明(设计)人: | 夏俐;赵千川;赵明国 | 申请(专利权)人: | 清华大学 |
主分类号: | G05B13/04 | 分类号: | G05B13/04 |
代理公司: | 11201 北京清亦华知识产权代理事务所(普通合伙) | 代理人: | 张润<国际申请>=<国际公布>=<进入国 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 状态量 平衡车 控制信号 行为指标 控制驱动电机 报酬 机器学习 评价函数 趋于平衡 驱动电机 先验知识 自平衡车 自适应 自学习 预设 观测 返回 灵活 概率 更新 应用 | ||
1.一种两轮自平衡车的机器学习控制方法,其特征在于,包括以下步骤:
S1:获取平衡车当前的状态量,所述状态量包括倾角和角速度;
S2:根据最优行为的概率、当前状态下的状态行为指标和所述当前的状态量得到驱动电机的控制信号,其中,步骤S2进一步包括:
根据以下公式并以概率∈从所有可能的a取值域中随机选择行为a:
a=arg maxa′{Q(s,a′)}
其中,s为当前的状态量,θ为当前时刻平衡车的倾角,为当前时刻平衡车倾角的角速度,0<∈<1,a′为所述驱动电机的力矩取值;
S3:根据所述控制信号控制驱动电机运行,使所述平衡车趋于平衡,并采用预设评价函数对所述平衡车的状态量改变进行评价得到报酬评价值,其中,采用以下公式得到所述报酬评价值:
其中c1和c2为正常数,r(s,a)为所述报酬评价值;
S4:根据所述报酬评价值更新当前状态下的状态行为指标,其中,采用以下公式更新所述状态行为指标:
Q(s,a)←Q(s,a)+α[r(s,a)+γmaxa'Q(s',a')-Q(s,a)]
其中,Q(s,a)是当前状态下的状态行为指标,γ是折扣因子且0<γ<1,α是一个惯性因子常数;
S5:观测并更新所述平衡车的状态量,并返回步骤S1。
2.根据权利要求1所述的两轮自平衡车的机器学习控制方法,其特征在于,利用陀螺仪测量得到所述平衡车的倾角和角速度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710343873.6/1.html,转载请声明来源钻瓜专利网。