[发明专利]动态离群值偏倚减少系统和方法

说明书

本申请涉及动态离群值偏倚减少系统和方法。这里描述了用于进行数据过滤以减少功能性和趋势线离群值偏倚的系统和方法。通过客观统计方法从数据集合中去除离群值。基于绝对误差、相对误差或两者确定偏倚。根据数据、模型系数或趋势线计算来计算误差值。当误差值大于或等于用户提供的标准时，去除离群数据记录。对于优化方法或其他迭代计算，去除的数据在每次迭代中被重应用到模型以计算新结果。利用完整数据集的模型值，计算新误差值并且重应用离群值偏倚减少过程。以迭代方式对于模型系数和离群值去除数据最小化整体误差，直到达到用户定义的误差改进限度为止。经过滤的数据可用于验证、离群值偏倚减少和数据质量操作。

相关申请的交叉引用

此部分继续专利申请要求2011年8月19日递交的标题为“Dynamic Outlier BiasReduction System and Method”、序列号为13/213,780的美国非临时专利申请的权益和优先权，这里通过引用将该美国申请全部并入。

技术领域

本发明涉及对数据的分析，其中离群元素被从分析开发中去除（或过滤掉）。分析可与简单统计量的计算或者在其开发中涉及使用数据的数学模型的更复杂操作有关。离群数据过滤的目的可以是执行数据质量和数据验证操作，或者计算能够应用于后续分析、回归分析、时间序列分析中的代表性标准、统计量、数据群组或者用于数学模型开发的合格数据。

背景技术

在标准或数据驱动模型开发中去除离群数据是分析前工作的一个重要部分，用来确保从底层数据开发出有代表性的且合理的分析。例如，为二氧化碳（CO₂）、臭氧（O₃）、水蒸气（H₂O）、氢氟碳（HFC）、全氟化碳（PFC）、含氯氟烃（CFC）、六氟化硫（SF₆）、甲烷（CH₄）、一氧化二氮（N₂O）、一氧化碳（CO）、氧化氮（NOx）以及非甲烷挥发性有机化合物（NMVOC）排放的温室气体标准开发公正的基准要求在标准开发中使用的所收集的工业数据表现出某些属性。少数几个工业场所的极好或极坏的性能不应当导致为其他场所计算的标准的偏倚。可以判断将这种性能结果包括在标准计算中是不合理或者没有代表性的。过去，经由一种要求主观输入的半定量过程来去除性能离群值（outlier）。本系统和方法是一种数据驱动的方案，该方案把此任务作为模型开发的一个组成部分来执行，而不是在分析前或模型开发前阶段执行。

偏倚（bias）的去除可以是一个主观过程，其中以某种形式记录认为恰当的理由以证实数据变化。然而，任何形式的离群值去除都是一种带着改变计算结果的潜在可能性的数据审查。这种数据过滤可能减少或不减少计算中的偏倚或误差，并且本着完全分析公开的精神，严格的数据去除指导方针和去除离群值的证明材料需要与分析结果包括在一起。因此，在现有技术中需要提供一种新的系统和方法，用于利用一种对于数据质量操作、数据验证、统计计算或数学模型开发等等有用的动态统计过程来客观地去除离群数据偏倚。离群值偏倚去除系统和方法还可用于将数据分组成代表性类别，其中数据被应用到为每个群组定制的数学模型开发。在优选实施例中，系数被定义为数学模型中的乘法和加法因子以及在性质上非线性的其他数值参数。例如，在数学模型f(x,y,z)=a*x+b*y^c+d*sin(ez)+f中，a、b、c、d、e和f全都被定义为系数。这些项的值可以固定或者是数学模型的开发的一部分。

发明内容