[发明专利]一种高炉炼铁数据标准化处理方法及系统

说明书

本发明公开一种高炉炼铁数据标准化处理方法及系统。本发明提供的高炉炼铁数据标准化处理方法，充分分析了高炉炼铁数据特点，考虑了数据对应关系、缺失值、异常值、时间跨度、数据频次等高炉炼铁数据存在的实际问题，结合高炉炼铁工艺流程，有针对性的对数据进行标准化处理。借助Python软件采用多种技术，分步骤、分阶段对数据进行标准化处理，逐一解决高炉炼铁数据存在的实际问题，处理方法多元化、系统化。该方法将处理好的数据汇集于标准化数据系统，便于进行数据标准化管理，可以实现数据分类、数据分层管理，有效提高高炉炼铁数据的利用率。

技术领域

本发明涉及高炉炼铁技术领域，尤其涉及一种高炉炼铁数据标准化处理方法及系统。

背景技术

近年来，大数据作为新兴技术得到了国家政策的支持，迅速在各个领域发展，炼铁大数据技术的应用是高炉走向“智能化”的必由之路。然而，高炉炼铁数据体量巨大，仅实时数据每天就有上亿条记录。数据种类繁多，数据对应关系不明确，数据中存在缺失值、异常值，数据时间跨度不同、采集频次不一，这些问题严重制约着大数据技术在高炉炼铁领域的应用。因此，必须在应用之前对高炉炼铁数据进行标准化处理，以得到规范、整齐的标准化数据供后续分析、建模使用。可见，高炉炼铁数据的标准化处理是炼铁大数据技术的基础。

对于数据标准化处理方法，检索到不少文献和专利。但已有资料多数针对医疗、金融等原始数据本身标准化程度较高的领域，检索到的数据标准化处理方法都结合了各自领域数据的特点。已有的通用数据标准化处理方法存在以下问题：(1)对数据特点分析不足；(2)处理缺乏针对性；(3)处理方法单一；(4)阈值选择与工艺结合程度不高。因此，无法直接应用到高炉炼铁领域，且没有检索到专门针对高炉炼铁的数据标准化处理方法。

发明内容

本发明的目的在于提供一种高炉炼铁数据标准化处理方法及系统，该方法及系统能够对高炉炼铁数据进行标准化处理，以得到规范、整齐的标准化数据，为炼铁大数据技术的应用奠定基础。

为实现上述目的，本发明提供了如下方案：

一种高炉炼铁数据标准化处理方法，所述方法包括：

获取高炉炼铁全部数据表格；

数据对应关系确定：按照实时数据、台账数据、检化验数据对所述数据表格进行分类，三类数据的特点如表1所示。明确所述数据表格之间的从属关系，由工艺经验获取所述数据表格中字段名称的物理意义，确定数据对应关系；

表1三类数据的特点

一致性检验：确定数据表格内参数间的逻辑关系、衍生关系，检查高炉炼铁数据是否合乎要求。剔除不符合工艺常理、逻辑关系不合理及关系相互矛盾的数据；

缺失值处理：利用缺失值两侧的数值，对数据缺失值采用线性拟合的方式进行填充；

异常值处理：借助Python软件，利用箱型图中的最大值、最小值、上四分位数、下四分位数、中位数明晰全部参数的分布情况，删除超出正常范围的数据点(错误点、孤立点、噪声点)；

时间跨度选取：根据获取数据的分布情况，选取各参数数据记录比较完备的时间段作为统一的时间跨度，选取这一时间跨度内处理好的数据作为后续分析、建模使用；

参数频次调整：分析各个参数数据的频次情况，根据后续分析、建模需要统一参数数据频次，高炉炼铁数据一般将频次统一为1小时。对频次高于统一频次的数据进行均值降频处理，对频次低于统一频次的数据进行填充升频处理。

一种高炉炼铁数据标准化处理系统，所述系统包括：

数据获取模块：按照类别分为实时数据、台账数据和检化验数据；