[发明专利]一种基于强化学习的区块链-边缘计算联合系统

说明书

本发明涉及计算机技术和移动通信技术，特别是涉及利用强化学习对区块链‑边缘计算联合系统进行性能优化的方案设计。本发明提出了一种基于强化学习的区块链‑边缘计算联合系统，包含：区块链‑边缘计算联合系统、智能体和经验池。智能体将该环境信息作为状态，输入到自带的神经网络中。神经网络通过计算当前状态下执行不同动作的预期收益，进行行为决策，使得能够得到的回报最大化。其中在训练阶段，智能体将通过从经验中采样过去的经验进行学习，逐步调整行为策略，实现区块链‑边缘计算联合网络的性能优化。

技术领域

本发明涉及计算机技术和移动通信技术，特别是涉及利用强化学习对区块链-边缘计算联合系统进行性能优化的方案设计。

背景技术

区块链、边缘计算都是近年来新兴的技术。区块链是一种去中心化的分布式账本，能够有效保证数据的公开透明并防止篡改，存储在其中的数据和信息具有不可伪造、全程留痕、可溯源、公开透明、集体维护等特点。边缘计算是5G通信的一项代表性技术，其利用边缘基站对应用程序请求进行处理，以产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。随着5G通信技术的发展与普及，如何保证边缘节点及其数据的安全性将会是未来的一个热点话题。

结合区块链技术在数据安全与隐私保护方面的众多优点，通过将边缘服务器节点与区块链网络节点耦合，即边缘基站也作为区块链共识节点参与区块的验证和打包工作，是一种非常有前景的技术方案。尽管工业界目前尚未有成熟的系统面市，但是已有相关专利对区块链-边缘计算联合系统进行了设计，并尝试应用于一些具体场景中，例如CN113079159A、CN113065866A、CN113055456A。

移动边缘计算网络节点众多，利用区块链技术实现服务器日志信息留存、边缘节点操作记录等，可以进一步增强边缘计算网络的健壮性。但是，通过将区块链技术与边缘计算技术耦合到同一个系统中，这种联合系统也带来的新的问题与挑战，其中最关键的便是如何同时提升系统的边缘计算网络性能和区块链网络性能。目前，现有专利技术如CN113037534A、CN113037535A利用传统通信方法给出了一些方案。但是这些方法只关注了通信网络的性能，而区块链公链网络吞吐量低、延迟性高的问题仍然没有得到很好的解决。另一方面，如何将边缘服务器节点的资源合理地分配用于完成通信任务和区块链任务，以提升联合系统中两个网络的整体性能，这也是目前技术方案中未考虑到的问题。

强化学习是机器学习的三大范式之一，这种技术明确地考虑了智能体与不确定性环境的整个交互过程，在每次选取动作前折中权衡“探索”与“利用”，使执行动作后获取的期望回报值最大化。强化学习方法Deep Q Learning(DQN)结合了深度神经网络和强化学习方法，实现了对动作价值的评估。智能体通过在不同的状态下尝试各种不同的动作，并根据获得的实际回报值不断调整自身策略，不断地调整自己的行为策略。DQN算法通过利用深度神经网络对该期望回报进行计算拟合，可以不断减小估计值和现实值的误差，并调整网络参数权重，最终能够学习到最优的行为策略。

结合上述区块链-边缘计算联合系统中存在的关键技术问题，通过使用强化学习技术，可以对边缘服务器节点、区块链共识节点进行动态调整，从而进一步实现边缘计算网络和区块链网络性能的综合提升，使得该联合系统更加实用。

发明内容

针对上述区块链-边缘计算联合系统设计中存在的缺陷和不足，本发明提出了一种基于强化学习的区块链-边缘计算联合系统，旨在减少系统用户处理用户任务并完成数据上链的总耗时，提升联合系统的综合性能。具体来讲，本发明拟解决的问题如下：

1、针对区块链-边缘计算联合系统，现有技术方案仅考虑了通信网络层面的优化，而区块链网络吞吐量低、延迟性高的问题仍然没有得到很好的解决，区块链出块时间过长；

2、如何对边缘服务器节点的资源分配进行优化，使其能够兼顾通信任务和区块链任务，提升通信网络与区块链网络的整体性能，仍然是一个待解决的问题。