[发明专利]两轮自平衡车的机器学习控制方法

摘要

本发明公开了一种两轮自平衡车的机器学习控制方法，包括：S1：获取平衡车当前的状态量，所述状态量包括倾角和角速度；S2：根据最优行为的概率、当前状态下的状态行为指标和所述当前的状态量得到驱动电机的控制信号；S3：根据所述控制信号控制驱动电机运行，使所述平衡车趋于平衡，并采用预设评价函数对所述平衡车的状态量改变进行评价得到报酬评价值；S4：根据所述报酬评价值更新当前状态下的状态行为指标；S5：观测并更新所述平衡车的状态量，并返回步骤S1。本发明具有如下优点：无需模型的先验知识，具有自学习、自适应的优点，应用灵活。

主权项

1.一种两轮自平衡车的机器学习控制方法，其特征在于，包括以下步骤：/nS1：获取平衡车当前的状态量，所述状态量包括倾角和角速度；/nS2：根据最优行为的概率、当前状态下的状态行为指标和所述当前的状态量得到驱动电机的控制信号，其中，步骤S2进一步包括：/n根据以下公式并以概率∈从所有可能的a取值域中随机选择行为a：/na＝arg max_a′{Q(s,a′)}/n其中，s为当前的状态量，θ为当前时刻平衡车的倾角，为当前时刻平衡车倾角的角速度，0<∈<1，a′为所述驱动电机的力矩取值；/nS3：根据所述控制信号控制驱动电机运行，使所述平衡车趋于平衡，并采用预设评价函数对所述平衡车的状态量改变进行评价得到报酬评价值，其中，采用以下公式得到所述报酬评价值：/n /n其中c₁和c₂为正常数，r(s,a)为所述报酬评价值；/nS4：根据所述报酬评价值更新当前状态下的状态行为指标，其中，采用以下公式更新所述状态行为指标：/nQ(s,a)←Q(s,a)+α[r(s,a)+γmax_a'Q(s',a')-Q(s,a)]/n其中，Q(s,a)是当前状态下的状态行为指标，γ是折扣因子且0<γ<1，α是一个惯性因子常数；/nS5：观测并更新所述平衡车的状态量，并返回步骤S1。/n