[发明专利]基于强化学习的电子电器控制方法及控制设备、存储介质

说明书

本发明涉及基于强化学习的电子电器控制方法，针对具有场景自动控制功能的电子电器，应用强化学习控制策略，通过获取用户不断对电子电器设备的干预控制作为强化学习的决策输入，动态生成适应用户不同场景下设备自动控制的场景算法模型，获得电子电器最为贴近用户使用习惯的自动化工作模式的场景算法模型，提高电子电器的使用效率，并将上述所设计方法应用于各种电子电器，进而实现了全电子电器场景自动控制的自学习方式的优化更新，为智能家居、智能办公提供了更好的场景自动控制方法。

技术领域

本发明涉及基于强化学习的电子电器控制方法及控制设备、存储介质，属于房屋物联智能化技术领域。

背景技术

目前市场上大部分的智能家居系统，都是依靠“场景”和“自动化”这两个功能来完成绝大部分的功能，控制方式主要依赖语音控制或者手机控制。虽然很多用户觉得现在人工智能很发达，系统应该可以自己学习用户习惯，并且能够以家为中心自动应用场景，家庭设备与外界交互与反馈(通过设备监测自动联动场景设备，能够采集个人或环境信息)，从而极大提升家居生活的舒适性，但是实际上，目前AI在智能家居领域的应用还不够广泛，智能家居基本上还是依靠场景和自动化来实现的。

强化学习(Reinforcement Learning)是机器学习里面的一个分支，善于控制一个能够在某个环境下自主行动的个体，通过个体和环境之间的互动，不断改进它的行为，强调如何基于环境而行动，以取得最大化的预期利益。强化学习问题包括学习如何做、如何将环境映射为行动，从而获得最大的奖励。在强化学习中，学习器是一个制定决策的智能体，它不会被告知该执行什么动作，而是经过反复尝试运行，来发现能获得最大奖励的行为。一般情况下，行动不仅会影响当前的奖励，而且会影响下个时间点的环境，因此也会影响后续所有的奖励。因为学习系统的行动会影响到环境，环境又会影响后续的行动，所以从本质上讲，强化学习是一个闭环控制问题。强化学习的目的就是解一个MDP(马可夫决策过程)。具体地说，我们要将学习者和决策者(Agent)放在某个环境(Environment)中，让它学习如何最大化获得的总收益。

因此若能将强化学习的思想付诸于智能设备的控制上，将大大提高智能设备的场景自动化使用效率。

发明内容

本发明所要解决的技术问题是提供基于强化学习的电子电器控制方法，针对具有场景自动控制功能的电器，应用强化学习控制策略，能够使得电子电器获得更加贴近用户使用习惯的自动化工作模式，提高电器工作效率。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了基于强化学习的电子电器控制方法，用于针对各个具有场景自动控制功能的电器，实现各个电器的分别控制；分别针对各个电器，基于电器按其所对应各个初始自动控制场景的工作过程，针对电器如下各个状态，实现针对电器的不同控制方法；

状态1.电器处于未启动状态，若电器接收到人为开启动作进行工作，则针对当前时间与该电器开启动作，结合该电器所处环境对应该电器工作目的因素、在该电器启动工作前的检测信息，构成该电器所对应新的自动化控制场景；若电器未接收到人为开启动作，则不做任何进一步操作；

状态2.电器处于工作状态中，若电器接收到人为关闭动作停止工作，则针对当前时间与该电器关闭动作，结合该电器所处环境对应该电器工作目的因素、在该电器停止工作前的检测信息，构成该电器所对应新的自动化控制场景；若电器未接收到人为关闭动作，则针对具备工作目的因素功能可调的电器，定义电器工作目的因素为因素A，并获得该电器在当前自动化控制场景下针对因素A的设置信息A_设，然后执行如下步骤A至步骤B，以人为调整动作为干预原点，基于原点，结合环境所对应因素A的变化，改变电器自动化控制场景中的工作状态，实现电器对应原点到环境因素忍受波动范围的自动化控制场景的优化；

步骤A.检测获得该电器所处环境对应因素A的检测信息A_测，并进入步骤B；