[发明专利]基于高精度取舍方式的误差可控的数据处理系统及方法

说明书

本发明涉及数据分析技术领域，尤其涉及一种基于高精度取舍方式的误差可控的数据处理系统及方法。包括输入模块、判断模块、智能取舍模块、计算模块和输出模块；由输入模块向判断模块输入精度要求(即最终需要精确到小数点前/后第几位)或有效数字位数(即最终需要几位精确值)，然后输入模块的原始数据经由智能取舍模块按照判断模块的要求处理，经由计算模块计算后由输出模块输出。本发明设计了对应的判断模块，能够根据输入数据及精度要求判断需要取舍的位数，减小数据处理过程中造成的误差，提高统计数据的匹配性和可用性，方便统计数据核对，有利于统计图表的制作，数据压缩及数字计算等。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种基于高精度取舍方式的误差可控的数据处理系统及方法。

背景技术

根据数据库等数据来源对数据进行处理，在金融、计算机、化工、电信等行业有着广泛应用，例如银行利率、汇率计算系统，电信的经分系统、微信等平台的商户分析系统等。近几年，大数据应用快速普及，并从电子商务、互联网等行业向传统的金融、政府、公共事业、能源、交通等行业快速扩展。而随着大数据应用在金融、计算机、电信、政府、公共事业、能源、交通、制造等行业的普及，如何合理的开展大数据分析业务、管理和利用海量数据成为各行各业的关键问题，就意味着各行业对数据处理的要求也越来越高。

同时，基础科研对于计算能力要求越来越高，如天气预报、借助密度泛函理论的第一性原理计算，对数据的处理动辄以小时、甚至以月为单位，运算量非常巨大，且对运算精度要求非常之高。

而如果统计数据不准，分析方式不可靠，统计数据就会失真，进而导致统计分析出错，监督失责：

①数据处理对金融银行业的重要性。在现代，银行的业务越来越广泛，然而在货币兑换、利润计算等领域仍然普遍存在着近似计算，例如由于目前银行业主要借助四舍五入法进行近似计算，业务量又巨大，导致误差较大。

②数据处理对计算机领域的重要性。比如数据压缩方面，JPEG利用离散余弦变换来实现数据压缩，在压缩过程中，采用四舍五入对数据进行处理，从而造成数据失真率较高。以及对幂指函数进行计算时占用系统资源较大。

③基础科研数据计算量巨大，对于计算精度要求高，采用传统方式耗时久。

④数据处理对企业数据的重要性。在现代企业的经营管理中，涉及的数据错综复杂，企业数据包含各类信息，如不进行仔细的分类和处理将无法实现企业的有序经营，这将会制约企业的整体发展。由此可见，数据统计、数据处理对提高企业数据分类和处理能力具有重要作用，是满足企业经营管理的实际需要。

除此之外，提高统计数据质量、改善数据处理方法几乎是各行各业的重点问题。而目前数据处理实践中，由于大量数据为浮点数据，除加减法外很难做到精确计算，所以近似计算便在数据处理中占据了主导地位。而在近似计算中，目前主要有两种技术手段：

①直接利用人工选取或程序软件进行近似处理。而近似的原理主要是以确定的舍入上下限对原始数据进行取舍(如舍入上下限可设定为固定值，如分别设定为4、5时即四舍五入，若舍入上下限分别为4、6时即四舍六入，向上取整，向下取整等，或舍入上下限也可设定为变化值等方式)，而上述所有方法在处理数据中均不可避免的会发生巨大的误差，且误差会产生叠加，难以做到精准计算。

②根据计算的真实结果对误差进行校正，而这种方法无疑会占用大量计算空间，跟真实计算并无二致，尤其是对于除法等运算几乎毫无帮助。

除此之外，目前的数据处理系统中，在计算结果出来之前，几乎没有方法评估计算结果的误差。因此，提高计算精度，改善数据处理方式既是重点，也是各行各业亟待解决的难点。

发明内容