[发明专利]动态离群值偏倚减少系统和方法

摘要

本申请涉及动态离群值偏倚减少系统和方法。这里描述了用于进行数据过滤以减少功能性和趋势线离群值偏倚的系统和方法。通过客观统计方法从数据集合中去除离群值。基于绝对误差、相对误差或两者确定偏倚。根据数据、模型系数或趋势线计算来计算误差值。当误差值大于或等于用户提供的标准时，去除离群数据记录。对于优化方法或其他迭代计算，去除的数据在每次迭代中被重应用到模型以计算新结果。利用完整数据集的模型值，计算新误差值并且重应用离群值偏倚减少过程。以迭代方式对于模型系数和离群值去除数据最小化整体误差，直到达到用户定义的误差改进限度为止。经过滤的数据可用于验证、离群值偏倚减少和数据质量操作。

主权项

1.一种用于减少为设施测量的目标变量中的离群值偏倚的系统，包括：输入单元，用于输入要被处理的一个或多个数据集合，其中所述输入单元包括被配置为执行以下操作的测量设备：测量所述设施的一个或者多个目标变量；并且为每个目标变量提供相应的数据集合；计算单元，耦合到所述输入单元并且用于处理数据集合，其中所述计算单元包括处理器和存储子系统；以及输出单元，耦合到所述计算单元并且用于输出从所述计算单元接收的经处理的数据集合中的一个或多个；其中，由所述存储子系统存储的计算机程序包括在被执行时通过使得所述处理器执行以下步骤而减少经处理的数据集合之一的离群值偏倚的指令：选择用于减少离群值偏倚的目标变量之一；从所述输入单元获得所述目标变量之一的相应的数据集合，其中，所述目标变量之一的相应的数据集合包括多个输入数据值；从与所述目标变量之一相关联的输入数据值中选择实际值的集合；获得用于确定一个或多个离群值的偏倚标准；确定数学模型的模型系数的集合；(1)应用所述数学模型的模型系数的集合，以确定模型预测值的集合；(2)生成包括一个或者多个误差值的误差集合，所述一个或者多个误差值是根据比较所述模型预测值的集合与实际值的集合而确定的；(3)基于所述误差集合和所述偏倚标准生成误差阈值的集合；(4)使用所述误差阈值的集合，过滤掉所述相应的数据集合中被指定为离群值的输入数据值；(5)使用所述相应的数据集合中未被过滤掉的输入数据值，确定所述数学模型的经更新的模型系数的集合；以及(6)使用所述数学模型的经更新的模型系数的集合，重复步骤(1)‑(5)，除非满足了改进标准。