[发明专利]一种基于强化学习的MQTT协议QoS机制选择方案

说明书

本发明涉及应用在配电物联网中的消息队列遥测传输协议（Message Queuing Telemetry Transport，MQTT）协议QoS机制选择方案，综合考虑了配电物联网任务数据包的丢包率和传输能耗，首先将动态MQTT协议QoS机制选择问题建模为多臂赌博机（Multiple‑Armed Bandit，MAB）问题；在此基础上，利用强化学习中的上置信区间（Upper Confidence Bound，UCB）算法，在不完全信息条件下，实现了不同应用场景下MQTT协议服务机制的实时动态切换，以达到数据传输能耗和丢包率之间的平衡，使系统的整体性能最优。

技术领域

本发明属于配电物联网领域，具体涉及应用在配电物联网中的协议机制选择方案。首先，将动态MQTT协议QoS机制选择问题建模为多臂赌博机问题。然后，利用强化学习中的UCB算法，在不完全信息条件下，实现弹性的协议机制选择，有效地平衡传输的能耗和丢包率性能，从而适应于不同的配网业务。

背景技术：

配电物联网通过配电设备间的全面互联、互通，实现配电网的全面感知、数据融合和智能应用。随着物联网技术在配电网中的迅速发展以及越来越多的配电设备需要接入服务，通信需求的海量增长导致传统的请求/响应机制不再适用。而且，现有配电设备由于计算能力和电池容量有限，难以满足低能耗、低丢包率等配电物联网业务的QoS通信需求。因此，如何使用有限的资源，在保证系统设备大连接需求的同时保证低能耗、低丢包率通信需求，是一个相当棘手的问题。 MQTT协议作为一个轻量级、可扩展的基于发布/订阅机制的物联网传输协议，是解决以上问题的有效方法。其基本思想是最小化网络带宽和设备资源要求，同时满足可靠性和一定程度的交付保证，对于配电物联网中对能耗和续航有要求的设备来说是理想的选择。

MQTT协议提供了三种不同的QoS机制，定义为QoS0、QoS1和QoS2，分别具有不同的可靠性保障。QoS0机制下的消息发送强依赖于底层网络的能力，消息接收方不会对接收到的消息发送响应，消息发送也不会因为消息可能没有发送成功而进行重试，对此等级的应用消息不需要回应确认，没有重传机制，可能导致消息丢失。使用MQTT协议QoS1机制传输消息时，发送端会向接收端发送一个带有数据的PUBLISH数据包，并在本地保存这个PUBLISH数据包，直至收到服务器端发送的PUBACK(确认消息)，即数据包成功到达服务器端；若发送端未收到接收端反馈的确认消息，则会继续重传直至成功接收到PUBACK。其中，信道状态导致的丢包以及PUBACK的回传失败均会导致发送端重复发送相同的消息，造成了接收端收到大量重复消息，需要在传输过程完成后进行“去重”动作，即自行删除重复的数据包，增加了去重能耗。在MQTT的QoS2等级传输机制中，发送端和接收端都设有数据包暂存机制，同时通过两次数据交互过程来保证接收端成功且不重复地收到消息。第一次交互过程中，发送端向接收端发送一个PUBLISH数据包，并在本地保存该PUBLISH数据包。若接收端成功收到消息，则第一时间暂存此消息并向发布者发送PUBREC。在上述过程中，信道状态导致的丢包以及PUBREC的回传失败都会导致发布者重传，而与QoS1 等级传输机制不同的是，由于暂存了消息标识，因此并不会接受发送端发送的重复消息。只有当接收端收到PUBREC消息，QoS2机制才会启动第二次消息交互过程，即发送端会再次向接收端反馈一个PUBREL消息，以确定消息收到的事实已被发送者得知。与第一次交互过程类似，接收端收到PUBREL消息后会再次发送一个PUBCOMP信息，PUBREL和PUBCOMP消息的发送失败均会导致重传。传输过程完成后，发送端和接收端删除暂存的消息标识。综上所述，QoS0 机制不存在重传与回传过程，不含有去重能耗；QoS1机制存在重传与回传过程，但回传过程仅成功一次即可，含有去重能耗；QoS2机制下，每个数据包存在至少两次回传，不含有去重能耗。

在配电物联网环境下，传感器采集数据上传质量会影响终端服务器对于信息的处理。如何在保证数据传输能耗的同时，尽可能降低数据的丢包率，已成为配电物联网环境下传感器数据传输亟需解决的问题，需要动态选择合适的QoS机制进行数据传输以实现传输能耗和丢包率之间的平衡。然而，在动态MQTT的 QoS机制选择中仍然存在一些关键的技术挑战。