[发明专利]一种基于增强学习算法的双层贝叶斯网络推理算法

说明书

技术领域

本发明涉及一种推理算法，特别地，涉及一种基于增强学习算法的双层贝叶斯网络推理算法。

背景技术

对网络进行认知是通过感知外部环境，经过自身的理解与学习，从而调整网络内部的相应配置来适应外部环境的变化。认知过程是在动态自适应过程中不断地学习和积累相关经验，并以此为依据来对网络进行相关的调整、判决和再配置的过程。其中的自适应动态调整过程是发生在问题出现之前，而不是之后，所以对网络的性能改善是着眼于整个网络的端到端服务质量（Quality of Service，QoS）性能。由于上述特性，传统的网络认知能够为用户提供更良好的QoS保障，初步的具备了自感知、自学习、自优化、自配置或重配置等基本特征。

目前，网络的QoS已经成为国内外研究的热点，相关研究主要集中在以下几个方面：

1、网络环境感知技术

该技术主要研究了高级用户参数转变为合适的网络级目标的过程，发现了在不同层次中QoS表现的不一致性，并找到了一种对QoS属性的自动映射方法，形成策略和行为集合的基础。

2、网络QoS智能决策

该智能决策的主要成果是借鉴生物学方法研究网络QoS，力图借助生物昆虫群体聚集表现出来的固有特性来增强网络QoS保障过程的智能性，从优化的角度改进并完善传统的QoS方法。

3、网络自适应配置

针对信道容量和路径延迟提出了的QoS路由算法，并提出了一种保障用户QoS水平的动态自配置方法。该方法采用效用函数对用户QoS优先级进行初始化，利用网络主动性和中断管理机制，通过认知节点对用户QoS优先级进行判定和动态修正，提出了一种基于蚁群的频谱感知路由算法。该方法是一种无线网络中生物激励的路由算法。

综上所述，现在国内外研究网络QoS的焦点主要集中在为QoS保障算法增强智能性、自适应性，建立网络QoS的目标参数映射及认知参数建模与表达等方面。但是这些方法在实际操作过程中有诸多缺点：

（1）这些研究大都针对某一局部、具体的控制方法，难以上升为具有全局意义的方法和机理；

（2）现有的研究成果缺乏对网络态势的全局性评估，缺乏对网络层次（学习者）的认知能力、知识水平等个性特征的了解；

（3）不能完全满足使用者的不同需要，不能为学习者提供个性化再配置的数据支持和指导。

Simon曾经指出，自然界中的大部分复杂系统都表现出分层结构。从理论角度讲，层次结构为从简单进化为复杂提供了可能性；从动力学角度讲，分层系统具有可分解性，这一特性可以使其行为过程和描述方式更加简化。因此，复杂系统的增强学习问题可以通过分层的方法得以简化。

基于上述的分析和描述，传统的复杂网络优化问题可以通过分层的方式得到简化和解决，将复杂网络中不同节点之间通过一定的层次关系进行描述和建模，可使得原本是仅通过一个复杂网络模型进行解决的高维度问题进行了降维的处理，从而使得问题得到了相应的简化，并为提出高效率和高可靠性的算法提供了可能性。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提出一种基于增强学习算法的双层贝叶斯网络推理算法，其既能充分利用已建立的贝叶斯网络概率模型进行推理，又能利用增强学习算法获得网络节点的概率信度值，进而对某些未知区域进行探索，协调了算法的全局和局部寻优能力；且该算法也不需要大量可信实例数据就能得到很好的实验效果，提升了算法的有效性和可靠性。

为实现上述目的及其他相关目的，本发明提供一种基于增强学习算法的双层贝叶斯网络推理算法，所述双层贝叶斯网络包括顶层贝叶斯网络、底层贝叶斯网络集合以及顶层贝叶斯网络节点与底层贝叶斯网络集合间的对应关系；

所述基于增强学习算法的双层贝叶斯网络推理算法至少包括以下步骤：

步骤S1、通过双层贝叶斯网络模型中的贝叶斯网络节点的替换，得到相关节点的条件依赖表，进而在横轴和纵轴两个方向建立相关节点的增强学习概率表，初始化的增强学习概率表即为所述条件依赖表，其中，所述横轴表示某个节点所依赖的网络节点的所有取值组合以及各个取值组合所对应的条件选择概率，纵轴表示某个节点所依赖的网络节点集合中的各个特定的节点以及各个特定的节点对所述节点的选择影响程度，所述选择影响程度也用一个条件选择概率表示；