[发明专利]一种基于非负矩阵分解的股票市场中的异常检测方法

说明书

技术领域

本发明属于证券市场的智能检测算法，特别涉及一种基于非负矩阵分解的股票市场中的异常检测方法。

背景技术

异常检测旨在检测出不符合期望行为的数据,因而适合应用于故障诊断、疾病检测、入侵和欺诈检测、金融市场波动检测等多个领域。在对股票市场波动相关理论和模型的研究中，主要集中于异常波动的分析，具有时间序列的股票市场数据中的异常波动通常会导致模型参数估计偏差、较低的波动预测准确性以及得出一些无效的结论等。因此，对股票市场的时间序列数据中的异常值检测具有重要意义。

通常，根据机器学习、模式识别的理论和方法可以把检测方法归为六类：基于类别的检测，最邻近检测法，基于聚类的检测，统计检测、基于信息理论的检测、基于光谱理论的检测。近年来也发展了利用信号处理的方法来进行异常检测。特别是在高频或者超高频金融数据的建模方面，取得了一些研究成果，比如在GARCH类模型基础上发展的弱GARCH模型和异质ARCH CHARCH模型等，但是还没有一个被普遍认可的模型框架。Andersen和Bollerslev于1998年提出了“己实现”波动的测量方法，通过“己实现”波动理论，把高频数据的金融波动转换成一个可观测的时间序列，如此就可以采用常规的标准时间序列分析方法对高频数据进行建模研究。在多变量的情况下，“己实现”波动理论还可以克服多元GARCH模型和多元SV模型参数估计中的“维数灾难”问题。

Bilen C和Huzurbazar,S.Grane提出了一种基于小波的异常值检测方法，但该方法检测到的异常值的平均错误率很高。Franses,Doornik,Ooms等提出了一种通过多次循环建立GARCH模型的方法检测异常值。Zhang,King进一步发展了一种基于曲率的方法来检测小扰动在回归分析和GARCH模型中的影响，也被用来检测异常值。Grane和Veiga以时间序列的GARCH模型残差为基础，提出了检测并定位异常的方法，并对道琼斯指数的历史数据做了实证分析，能够检测出历史上股市因发生重大事件而表现出的较大波动。股票市场本身也是一个复杂系统，因此复杂系统理论亦可用以金融数据的检测。最早由Ray在2004年提出的D-Markov模型就是基于复杂系统隐含模式的时间序列数据快速检测方法。之后，Chin,Ray等进一步在异常检测领域将该模型与统计方法和神经网络方法进行对比，发现D-Markov模型更优于其他两种方法。

发明内容

为解决上述现有技术存在的问题，本发明的目的在于提供一种基于非负矩阵分解的股票市场中的异常检测方法，本发明在考虑直接用小波分析进行异常检测的局限性的基础上，引入了一种非负矩阵分解(NMF,Nonnegative Matrix Factorization)的数据处理方式。非负矩阵分解自1999年Lee和Seung在《Nature》上提出后，在图像处理、文本信息处理、生物信息等领域有着广泛的应用。NMF的最大优点是能够在一定程度上识别数据的局部特征，定量地刻画局部与整体之间潜在的、可加的非线性组合关系。我们利用NMF对高维股指数据进行分解，得到最具股指特征的权系数向量，并对该向量构成的信号采用了小波分析的方法，得到权系数向量的多层分解波形，通过加权融合的方式，计算出超出波动阈值的异常点。

为达到上述目的，本发明的技术方案为：

一种基于非负矩阵分解的股票市场中的异常检测方法，包括如下步骤：

步骤一、建立股指数据矩阵；

以股票每日收盘时的指数特征属性，构成一个记录项为矩阵行，时间维度构成矩阵的列，以股票每天收盘时候指数作为一个记录项，构成了股指数据矩阵，所述股指数据矩阵为非负矩阵，满足：X＝[x_i,j]_n×m；

步骤二、利用NMF对股指数据矩阵进行分解，得到代表股指特征基的基矩阵U和代表低维的权重系数的系数矩阵V，其中，U＝[u_i,j]_n×d和V＝[v_i,j]_d×m，使得它们满足

X≈UV (1)

其中，原矩阵X的任意一列矢量可以解释为对左矩阵U中所列矢量-基矢量的加权组合，而权重系数为右矩阵V中对应的矢量元素；如果矩阵U,V分别重写为:

U＝[u_i,j]_n×d＝[U₁,U₂,...U_d] (2)