[发明专利]一种数据处理框架、方法及系统

说明书

本发明公开了一种数据处理框架、方法及系统，所述框架包括上层函数库；所述上层函数库包括：形状变换及索引函数、统计性及简单科学函数、沿时间序列处理函数、技术指标函数、按组处理函数；所述统计性及简单科学函数用于对二维数据框的数据矩阵进行迭代处理和异常值检测及处理；所述沿时间序列处理函数用于对数据矩阵沿时间序列进行处理；所述技术指标函数用于对数据矩阵进行以指数式递减加权的移动平均处理；所述按组处理类函数用于将数据矩阵分组，并将分组作为一个与数据矩阵相同形状的二维对象进行处理。本发明的数据处理框架在二维数据上融合数据处理和技术指标两个框架，以二维数据为单位进行数据处理，大幅提高金融数据处理效率。

技术领域

本发明涉及数据处理领域，尤其涉及的是一种数据处理框架、方法及系统。

背景技术

海量金融数据涉及拼接裁剪、按时间或按个体索引、序列化与反序列化、描述性统计、沿时间轴函数、按组处理函数等处理操作。目前已经产生了一些较为成熟的数据分析软件包，如Matlab,R,python等程序语言都能完成许多数据操作，但针对金融数据时间序列依赖、有缺失异常值(nan,inf)等特性(nan与inf在数学计算中会传染，导致最终均值方差等统计性计算结果也为nan或inf)，这些已有的数据分析包往往表现不佳。

现有技术中，在目前金融工程领域，广为流行的时间序列金融数据处理包是python程序语言的pandas包，这一软件包最初由AQR资本管理公司(Applied QuantitativeResearch Capital Management)于2008年4月开发，并于2009年底开源，这一软件包底层依赖于python的NumPy包，受限制于Python的全局解释锁与脚本语言性能低的特性，在许多场景下运行效率较低,也无法使用近些年流行的GPU计算进行加速。在诸如MACD等技术指标的计算时，金融工程领域的研究者通常使用Ta-Lib(Technical Analysis Library)这一软件包对python的pandas数据框中的一列(series)进行处理，这一软件包底层基于C语言实现，能够在CPU上提供较好的性能，但其只能处理一维时间序列数据，不能同批处理含有许多个体的二维时间序列数据，且对异常值的处理并不鲁棒，举例如简单的移动平均函数MA，在ta-lib的实现中，只要原始数据某一时间点含有NAN，之后的计算得到的所有MA函数值都将是NAN。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种数据处理框架、方法及系统，旨在解决现有技术中时间序列数据处理包不能同批处理含有许多个体的二维时间序列数据的问题。

本发明解决技术问题所采用的技术方案如下：

一种数据处理框架，用于处理时间序列的二维数据框，其中，包括上层函数库；所述上层函数库包括：形状变换及索引函数、统计性及简单科学函数、沿时间序列处理函数、技术指标函数、按组处理函数；

所述形状变换及索引函数用于基于二维数据框的行索引、列索引及对应的哈希表计算所需要的偏移值，而完成形状变换及索引；

所述统计性及简单科学函数用于对二维数据框的数据矩阵进行迭代处理和异常值检测及处理；

所述沿时间序列处理函数用于对数据矩阵沿时间序列进行处理；

所述技术指标函数用于对数据矩阵进行以指数式递减加权的移动平均处理；

所述按组处理类函数用于将数据矩阵分组，并将分组作为一个与数据矩阵相同形状的二维对象进行处理。

所述的数据处理框架，其中，所述数据处理框架还包括：与所述上层函数库连接的底层函数库、与所述底层函数库连接的底层矩阵库；

所述底层矩阵库用于根据底层矩阵库的类别和处理器的类别，写不同的头文件，并编译成对应动态链接库；