[发明专利]数据处理方法及数据处理装置

说明书

本发明公开了一种数据处理方法及数据处理装置。其中，该方法包括：根据预设规则对采集的原始数据依次进行清洗、提取；根据提取的数据构建关键指标矩阵，其中，行代表不同用户，列代表不同关键指标；采用预设算法对所述关键指标矩阵进行归一化处理，并对归一化后的矩阵进行降维处理；根据所述降维处理后的矩阵及预设算法获得所述关键指标的预测值。采用本发明的数据处理方法，有效降低了原始数据的稀疏性，提高了数据处理的效率及数据分析的准确度；此外，采用获得的预测值对缺失的关键指标数据进行补充，为后续数据分析提供支撑。

技术领域

本发明涉及工业互联网领域，具体而言，涉及一种数据处理方法及数据处理装置。

背景技术

目前能源工业互联网接收了不同电厂端系统的数据，数据种类丰富且数量庞大；此外，不同电厂之间的配置有所区别，导致不同电厂端系统的数据种类不同，数据维度很高，稀疏性很大。

数据稀疏性很大的弊端主要在于某些关键指标可能只出现在少数电厂端系统，而其他电厂端系统并未设置该关键指标或根本没有对该关键指标进行监测/记录，从而导致在进行数据分析时无法给出统一的分析评判标准，进而无法给出合理的分析结果，无法对电厂给出有针对性的、具有实际指导意义的建议或解决办法。此外，数据稀疏性大导致数据处理及数据分析的效率非常低，且分析的准确度也受到严重影响。

因此，亟需一种有效的数据处理方法，解决现有技术中数据稀疏性大的问题，有效提高数据处理的效率及数据分析的准确度。

发明内容

本发明提供了一种数据处理方法及数据处理装置，以至少解决相关技术中数据稀疏性大的技术问题。

根据本发明的一个方面，提供了一种数据处理方法，包括：根据预设规则对采集的原始数据依次进行清洗、提取；根据提取的数据构建关键指标矩阵，其中，行代表不同用户，列代表不同关键指标；采用预设算法对所述关键指标矩阵进行归一化处理，并对归一化后的矩阵进行降维处理；根据所述降维处理后的矩阵及预设算法获得所述关键指标的预测值。采用本发明的数据处理方法，有效降低了原始数据的稀疏性，提高了数据处理的效率及数据分析的准确度；此外，根据获得的关键指标的预测值对原始数据中缺失的相关数据进行补充，并反馈相关电厂，提醒其对该关键指标进行监测，并根据预测值对其实际监测值进行评估。

优选地，所述清洗包括删除所述原始数据中的无效数据、重复数据和/或错误数据，其中，所述无效数据包括缺少关键信息的数据、无法解析的数据等；所述重复数据包括同一时间采集的某个/些电厂的某个/些指标的相同重复的数据；所述错误数据包括不完整的数据或明显不符合规则的数据。

优选地，所述提取包括对清洗后的数据进行归类，所述归类包括根据数据类别、数据来源和/或参数指标对清洗后的数据进行归类，其中，所述数据类别包括性能类、生产类、安全类、经济类、消费类、节能减排类等；所述数据来源包括电厂和/或电厂中各类数据相关设备；所述参数指标包括设备参数、生产参数、安全参数等。

优选地，根据时间段将提取的数据进行拆分，在同一时间段内同一用户不同维度的数据整合为一行，用户的不同关键指标作为列数据，构建成为一个原始关键指标矩阵，其中，行代表不同用户，列代表不同关键指标。

优选地，所述归一化处理包括以下步骤：将所述关键指标矩阵中各元素根据其所在列的最大值、最小值进行归一化到0-1之间。对关键指标矩阵进行归一化处理有利于提高数据处理速度及其精度。

优选地，所述降维处理包括以下步骤：根据奇异值分解算法将所述归一化后的矩阵分解为三个矩阵U、Σ、V^T；根据奇异值平方和对矩阵U、Σ、V^T的维度进行简化，获得简化后的矩阵U、Σ、V^T；对简化后的矩阵U进行复原，获得复原后的矩阵U。

具体地，根据奇异值分解算法将所述归一化后的矩阵分解为三个矩阵U、Σ、V^T，其中，