[发明专利]基于用户体验分析的深度强化学习式智能门锁系统及装置

说明书

本发明公开了一种基于用户体验分析的深度强化学习式智能门锁系统及装置。首先，我们设计出智能门锁系统的强化学习模型，并提出改进的线上线下强化学习算法，该算法对用户体验质量(QoE)分析，通过分析将搜索空间的状态‑行为对降维；其次，为克服强化学习带有的延迟奖励或者惩罚，而影响到后续学习过程，为此，我们采用带有临时记录功能的资格迹进行信用评分，从而避免强化学习中具有的延迟赏罚的弊端。最后，该算法作为核心模块，设计出智能门锁系统的装置，从而实现多元化、智能化学习式的开/关锁系统。避免了用户用人脸/指纹/密码开锁的费时费心的操作，增强门锁的智能化和人性化。

技术领域

本发明涉及一种基于用户体验分析的深度强化学习式智能门锁系统及装置，尤其涉及无人工参与下的智能学习式门锁开关系统，属于人工智能决策领域。

背景技术

随着5G无线系统的发展和应用，机器-对-机器(machine to machine)的世界也即将在强“人工智能+”时代的催生下涌现在人们的日常生活中如：智能家居、车联网、无人机、时控机器人等，无线世界已经实现了与人类的互联互通，自动化和智能化已被视为是面向行业应用一种新趋势。例如，由谷歌深灵(DeepMind)公司打造出的具有深度强化学习技术的围棋冠军AlphaGo，其智能化的学习技术为人工智能时代带来新的契机，其实现了类似人脑的功能：智能的实现学习。因此这种学习式的方法对智能门锁系统展现出巨大的潜力和应用价值。

目前，现有的门锁系统有存的弊端如下：

(1)采用钥匙手动开锁的门锁系统，本身不依赖与电子系统，使用的时间较长，然而，其潜藏着钥匙易丢、易盗和易复制的安全隐患，是安全系数较低的一种锁具，并且用户出门携带钥匙，用户体验质量较差。随着科技化、智能化的逆袭，以及人们对家居智能化的体验要求与日俱增，因此此种门锁系统将会逐渐淡出应用市场。

(2)采用人脸识别/指纹/密码手动开锁的门锁系统，此种形式的门锁系统已经在市场上屡见不鲜，但目前的人脸识别或指纹或密码的形式开锁仍然需要门锁主人或者预先设定的门锁家属或者已知密码的家人手动开锁，其仍然具有手动性质即：开锁者需要点击相应的锁具开锁按钮，人为的参与其识别验证等开锁过程，并且若为密码验证，还需要记住设定的密码等，这种形式的门锁系统，不免有费时费心之嫌，用户体验质量的评价自然不高。

(3)采用WIFI的远程控制终端APP进行开锁的门锁系统，此种形式因为需要周期性的更换电池或者给电池充电，一定程度上依赖于装有开锁APP的设备。在断网的情况下遥控开锁或者远程终端开锁则在系统上不起作用，并且仍然需要用户随身携带和保管，易丢失和窃取之嫌。用户体验质量自然会大打折扣。

目前，没有相关工作考虑带有用户体验质量(QoE)分析的智能学习式的开/关门锁系统及装置。该系统是具有QoE分析的线上线下式的学习算法，实现了智能学习式开关锁系统，避免了人工干预的开锁的繁琐过程。

发明内容

技术问题：本发明针对上述方案中尚存的空白，提出了一种基于用户体验分析的深度强化学习式智能门锁系统及装置。该系统是具有用户体验质量(QoE)分析的线上线下式的学习算法，对用户行为进行综合判断，智能决策，并设计出智能门锁系统的装置，从而实现多元化、智能化学习式的开/关锁系统。增强用户的体验质量。

技术方案：本发明提出一种基于用户体验分析的深度强化学习式智能门锁系统及装置。首先，我们设计智能门锁系统的强化学习模型，并提出改进的线上线下强化学习算法，该算法对用户的QoE分析，通过分析将搜索空间：状态-行为对的空间降维；此外，为克服强化学习带有的延迟奖励或者惩罚，而影响到后续学习过程，即根据此奖励或者惩罚计算下一时刻状态的值函数或者根据此奖励或者惩罚决定下一时刻行为的选择，为此，我们采用带有临时记录功能的资格迹进行信用评分，从而避免强化学习中具有的延迟赏罚的弊端。最后，该算法作为核心模块，设计出智能门锁系统的装置，从而实现多元化、智能化学习式的开/关锁系统，增强用户的体验质量。