[发明专利]工业装备数据清洗方法、装置、设备及存储介质

说明书

本发明涉及数据处理技术领域，公开了一种工业装备数据清洗方法、装置、设备及存储介质，包括：获取工业装备的状态数据，并将所述状态数据格式化，获得格式化状态数据；对所述格式化状态数据进行数据清洗，获得清洗数据；在所述清洗数据符合预设数据质量标准时，将所述清洗数据保存至预设数据库。由于本发明是通过将工业装备的状态数据格式化，将格式化状态数据进行数据清洗获得清洗数据，并将符合数据质量标准的清洗数据存储至预设数据库，解决了现有技术中工业装备的状态数据质量低技术问题，提高了工业装备状态数据的数据质量。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种工业装备数据清洗方法、装置、设备及存储介质。

背景技术

当前大数据已经成为企业重要的战略资源和决胜未来的关键因素，随着面向智能制造过程的智能装备逐步完善和推广，智能装备生成的数据量急剧增长，为充分挖掘这些数据的价值，需要展开大量的数据分析工作。

由于装备运行的状态数据来源于不同工厂和不同装备，在接收到数据之后，需要对数据进行正确性验证，清洗掉无效数据，获得真实、完整的大数据。比如数控机床等机器装备因为故障问题而生成的模糊、有噪声、不完整、不统一和冗余数据。若将故障数据中的不良数据引入机床的故障诊断中，会严重影响机床的诊断结果，因此如何提高机床诊断过程中使用数据的数据质量成为亟待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种工业装备数据清洗方法、装置、设备及存储介质，旨在解决现有技术中工业装备的状态数据质量低的技术问题。

为实现上述目的，本发明提供了一种工业装备数据清洗方法，所述方法包括以下步骤:

获取工业装备的状态数据，并将所述状态数据格式化，获得格式化状态数据；

对所述格式化状态数据进行数据清洗，获得清洗数据；

在所述清洗数据符合预设数据质量标准时，将所述清洗数据保存至预设数据库。

可选地，所述对所述格式化状态数据进行数据清洗，获得清洗数据，包括：

对所述格式化状态数据进行异常值检测，根据检测结果确定所述格式化状态数据的异常值集合；

根据最大期望算法和所述异常值集合对所述格式化状态数据中的异常值填充，获得待降噪数据；

根据卡尔曼滤波法对所述待降噪数据降噪，获得清洗数据。

可选地，所述在所述清洗数据符合预设数据质量标准时，将所述清洗数据保存至预设数据库的步骤之后，所述方法还包括：

根据归一化算法对所述清洗数据进行归一化处理，获得归一化特征数据；

根据方差筛选法从所述归一化特征数据中选取目标特征数据；

按照预设规则将所述目标特征数据组合成特征矩阵，并根据主成分分析法对所述特征矩阵进行降维处理，获得降维数据。

可选地，所述将所述状态数据格式化，获得格式化状态数据，包括：

根据预设格式对所述状态数据进行格式处理，获得格式统一状态数据；

将所述格式统一状态数据中的预设字符去除，获得格式化状态数据。

可选地，所述对所述格式化状态数据进行异常值检测，根据检测结果确定所述格式化状态数据的异常值集合，包括：

根据预设参数确定所述格式化状态数据中各数据对象对应的邻域点个数、邻域平均距离及点密度；