[发明专利]运转控制方法、运转控制装置和运转控制系统

说明书

技术领域

本发明涉及应用无教师学习的运转控制装置和运转控制方法。

背景技术

近年，在无教师学习领域中，盛行研究被称为强化学习的方法。众所周知强化学习，是通过与控制对象等环境的试行错误的相互作用，生成对环境的操作信号的学习控制的框架，以使从环境得到的测量信号是合乎需要的。在强化学习中，使用从环境得到的测量信号而计算的标量的评价值(在强化学习中被称为报酬)需要时间，为了使从现状态到将来得到的评价值的期待值变为最大，具有生成对环境的操作信号的学习功能。作为执行这样的学习功能的方法，例如有Actor—Critic、Q学习、实时DynamicProgramming等算法。

另外，作为发展上述方法的强化学习的框架，有被称为Dyna—体系结构的框架。这是事先学习将模拟控制对象的模型为对象而生成哪种操作信号好，使用该学习结果确定对控制对象施加的操作信号的方法。另外，具有减小控制对象与模型的误差的模型调整功能。

另外，作为应用强化学习的技术，列举专利文献1中所述的技术。这是，具有多个强化学习模块，其为模型和具有学习功能的系统组，求出各强化学习模块中的模型和控制对象的预测误差越小越取大的值的责任信号，与该责任信号成比例，加权由各强化学习模块生成的对控制对象的操作信号，确定对控制对象施加的操作信号的技术。

专利文献1：特开2000—35956号公报

在控制对象的特性复杂，难以使用能够完全模拟该特性的模型时，构成上述Dyna—体系结构的模型与控制对象的特性有可能不同。此时，使用专利文献1的技术，对于模型即使学习有效的操作方法，该操作方法对控制对象而言有可能变得无效。另外，由于将基于学习的操作方法的操作信号施加到控制对象，也有可能使控制对象的运转状态恶化。

发明内容

本发明目的在于提供，即使模型和实机之间产生偏差(模型误差)时，也可以运转而不会对控制对象的运转状态带来坏影响的运转控制装置，和运转控制方法。

一种控制装置的运转控制方法，导出并控制使基于控制对象的控制量与其目标值之间的偏差即控制偏差的评价值取最大或者最小的操作量，其特征在于，具有模拟上述控制对象的特性的模型，以上述模型为对象，计算使基于模型的控制偏差的评价值取最大或者最小的操作量，根据由上述操作量对上述控制对象进行了控制时的控制偏差来计算评价值，根据上述模型的控制偏差的评价值与上述控制对象的控制偏差的评价值的偏差，确定当前步骤的操作量和由下一步骤确定的操作量之差即操作量的变化幅度。

本发明，能够在即使产生模型误差时，也可以运转而不会对控制对象的运转状态带来坏影响。

附图说明

图1是说明将对本发明的控制装置应用为控制对象的例子的图。

图2是说明保存在操作信号生成参数存储部中的数据形式的图。

图3是说明图像显示装置中显示的画面的图。

图4是说明操作信号生成参数更新部的处理的图。

图5是说明模型特性的图。

图6是说明每个步骤的到达点的图。

图7是说明控制对象和模型特性的不同点的图。

图8是说明本发明的操作方法的图。

图9是说明修正后模型特性的图。

图10是说明的图。

图11是说明步骤数和操作量变化幅度关系的图。

图12是评价值计算的一个例子。

图13是用于确定操作量的表格的一个例子。

图14是表示在画面上显示操作量的空间和评价值的关系的例子。

图中：

10—图像显示装置，20—外部输入装置，30—键盘，40—鼠标，100—控制对象，200—控制装置，300—操作信号生成部，400—模型部，500、510—评价值计算部，600—操作信号生成参数存储部，700—操作信号生成参数更新部，800—模型参数存储部，900—模型参数更新部。

具体实施方式

以下，参照附图对用于实施发明的一个例子进行说明。图1是对将本发明中的控制装置200应用于控制对象100的例子进行说明的图。

控制装置200中配备的操作信号生成部300，生成对控制对象施加的操作信号201。另外，在评价值计算部500中，使用来自控制对象的测量信号202计算评价值信号203。操作信号生成部300，接收该评价值信号203。