[发明专利]一种基于深度强化学习的时间序列分类方法

说明书

本发明公开了一种基于深度强化学习的时间序列分类方法，包括以下步骤：采集若干时间序列，获取样本数据，并对样本数据进行预处理；构建深度残差网络，根据预处理后的样本数据，并通过深度强化学习方法对深度残差网络进行更新；将待测试的时间序列输入更新完成的深度残差网络，得到时间序列的分类结果。本发明通过将样本打乱顺序输入深度强化学习网络，使其更具鲁棒性，设置奖励和惩罚的方式寻找时间序列分类的最优策略，拥有高的分类准确度。

技术领域

本发明属于时间序列分类领域，具体涉及一种基于深度强化学习的时间序列分类方法。

背景技术

随着传感技术、监测技术的提高，我们的日常生活不断产生时间序列数据，如股票价格、天气读数、生物观测、健康监测数据等。在大数据时代，越来越需要从时间序列数据中提取知识，其中一个主要任务是时间序列分类，即通过已有时间序列数据预测其对应的类别标签。现有绝大多数的时间序列分类方法可以分为基于距离的方法和基于特征的方法。但是现有的时间序列分类方法的计算复杂度较高，且时间序列的分类决策精度不高。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于深度强化学习的时间序列分类方法解决了现有技术存在的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于深度强化学习的时间序列分类方法，包括以下步骤：

S1、采集若干时间序列，获取样本数据，并对样本数据进行预处理；

S2、构建深度残差网络，根据预处理后的样本数据，通过深度强化学习方法对深度残差网络进行更新；

S3、将待测试的时间序列输入更新完成的深度残差网络，得到时间序列的分类结果。

进一步地，所述步骤S1中采集的时间序列为X，X＝{x₁,...,x_t,...,x_T}，所述样本数据为D＝{(X₁,y₁),...,(X_i,y_i),...,(X_N,y_N)}；

其中，x_t表示t时刻的观测值，t＝1,2,...,T，T表示观测值总数，X_i表示样本，i＝1,2,...,N，N表示样本总数，y_i表示样本标签。

进一步地，所述步骤S1中预处理的具体方法为：采用线性函数归一化方法对样本数据进行线性变化；

所述线性函数X_i^*为：

其中，X_i表示样本数据中的时间序列样本，i＝1,2,...,N，N表示样本总数，X_min表示样本数据中的最小值，X_max表示样本数据中的最大值。

进一步地，所述步骤S2的分步骤包括：

S2.1、构建深度残差网络，并随机抽取一条预处理过后的样本数据输入深度残差网络；

S2.2、通过深度残差网络获取当前Q值，根据当前Q值对样本数据中时间序列选取分类动作，得到分类结果；

S2.3、根据样本标签和分类结果建立奖励函数，并判断样本标签和分类结果是否一致，若是则通过奖励函数向深度残差网络发送正奖励，否则通过奖励函数向深度残差网络发送负奖励；

S2.4、根据真实的分类结果，生成与深度残差网络结构相同的模拟深度残差网络，并通过模拟深度残差网络生成目标Q值；

S2.5、根据当前Q值和目标Q值，对深度残差网络和模拟深度残差网络进行更新；