[发明专利]基于行动价值函数学习的数据分流方法、电子设备

说明书

本发明公开了基于行动价值函数学习的数据分流方法，包括如下步骤：获取所有数据流的向量集，以及每一个数据流在任意时间分别对应的位置；根据网络系统在时间t的状态、用户的动作向量、所有数据流在时间t保留文件大小的向量、所有数据流的向量集中的任意一个数据流以及用户在时间t的能量消耗计算得到时间t的货币成本和能耗成本；根据货币成本、能耗成本、用户在时间t的能量消耗、用户的动作向量计算理想的行动价值函数；更新网络系统状态并重新计算货币成本和能量消耗，并将当前更新后的网络系统状态存储，计算目标行动价值函数。本发明通过强化学习，选择成本最小的策略实现了数据分流，降低的开销。

技术领域

本发明涉及数据分流技术，尤其涉及基于行动价值函数学习的数据分流方法和电子设备。

背景技术

专利号为CN102821424A的专利公开了一种辅助移动数据分流的方法和通信装置以及移动装置，在该专利中，在移动通信模式下，通过一辅助通信装置对信号进行验证，构建第一通信连结，在第一通信上进行数据的分流。虽然此种方式能够实现分流，但是构建方式过于复杂，且耗能大。专利号为US20110317571A1的美国专利公开了Method andApparatus for Data Offloading，该专利通过设置多个设备对网络环境监听，对网络当中设备的数据使用进行比较，选择是否需要分流到其他网络。但是此方法对系统开销较大，并不具有实用性。专利号为US20120230191A1的美国专利公开了METHOD AND SYSTEM FORDATA OFFLOADING IN MOBILE COMMUNICATIONS，该专利通过一个基础设置与数据分流控制器构成数据分流系统，通过基础设备对数据交换的监听，来判断是否需要进行数据分流，从而对数据分流控制器发出信号进行控制。此方法并未考虑到能量消耗及效率，并且复杂度较高，并不具实用性。已有的专利大多是从网络运营商来考虑数据分流的，这些策略并为考虑到移动用户的服务质量(QoS)。而已有的从移动用户考虑的策略，对整体系统的能量消耗和网络成本需求较高，效率并不明显。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供基于行动价值函数学习的数据分流方法，其能解决现有技术无法对数据更好的分流的问题。

本发明的目的之二在于提供一种电子设备，其能解决现有技术无法对数据更好的分流的问题。

本发明的目的之一采用以下技术方案实现：

基于行动价值函数学习的数据分流方法，应用于网络系统，包括如下步骤：

S1：设定一随机参数，通过该随机参数初始化行动价值函数；

S2：获取所有数据流的向量集，以及每一个数据流在任意时间分别对应的位置；

S3：根据网络系统在任一时间t的状态、用户的动作向量、所有数据流在时间为t时保留文件大小的向量、所有数据流的向量集中的任意一个数据流以及用户在时间为t时的能量消耗计算得到时间为t时的货币成本和能耗成本；

S4：根据货币成本、能耗成本、用户在时间为t时的能量消耗、用户的动作向量计算理想的行动价值函数；更新网络系统状态并重新计算货币成本和能量消耗，并将当前更新后的网络系统状态存储，计算目标行动价值函数。

优选的，在S1之前，还包括S0：初始化重播内存D到容量N。

优选的，S1中的随机参数定义为θ，行动价值函数为Q，在S1与S2之间，还包括如下步骤：Sa：用随机参数θ^-初始化目标行动价值函数