[发明专利]一种数据清洗方法和装置

说明书

本申请涉及一种数据清洗方法和装置，方法包括获取多个归属于同一场景下的第一数字信号信息，这些第一数字信号信息分别来自一个或者多个信息采集端的一个或者多个轮询区间；对每第一数字信号信息进行解析，得到待清洗数据群信息，待清洗数据群信息中包含多个第二信号信息，至少有一个第二信号信息的频率特征与其他第二信号信息的频率特征是不同的；取根据场景构建的清洗规则信息以及根据清洗规则信息对待清洗数据群信息进行清洗，得到结果数据群信息，结果数据群信息中包含一个或者多个第二信号信息。本申请用于物联网数据的清洗，有助于提高清洗效果。

技术领域

本申请涉及数据处理的技术领域，尤其是涉及一种数据清洗方法和装置。

背景技术

传统的大数据采集数据的时候，数据来自于人工数据，清洗时需要处理的问题主要是数据的失效和错漏，而物联网数据有数据采集于自然状况，混合有噪声及线性或非线性失真。传统的数据清洗方法主要是基于统计模型，针对人工数据可行，但是并不适用于物联网数据的清洗。

发明内容

本申请提供一种数据清洗方法和装置，有助于提高对物联网数据的清洗效果。

本申请的上述目的是通过以下技术方案得以实现的：

第一方面，本申请提供了一种数据清洗方法，包括：

获取多个归属于同一场景下的第一数字信号信息，这些第一数字信号信息分别来自一个或者多个信息采集端的一个或者多个轮询区间；

对每第一数字信号信息进行解析，得到待清洗数据群信息，待清洗数据群信息中包含多个第二信号信息，至少有一个第二信号信息的频率特征与其他第二信号信息的频率特征是不同的；

获取根据场景构建的清洗规则信息；以及

根据清洗规则信息对待清洗数据群信息进行清洗，得到结果数据群信息，结果数据群信息中包含一个或者多个第二信号信息。

通过采用上述技术方案，将第一数字信号转换为以频率特征为基础的第二信号，然后根据清洗规则进行清洗，相比于基于统计模型的筛选方式，这种筛选方式可以迅速确定所需要的数据。

在第一方面的一种可能的实现方式中，对清洗数据群信息进行多次清洗，每次使用的清洗规则信息是不同的。

通过采用上述技术方案，使用多次清洗的方式对获取到第一数字信号信息进行清洗，这种清洗方式可以根据实际的清洗需求制定合适的清洗规则，得到所需要的数据。

在第一方面的一种可能的实现方式中，对于属于同一场景下的来自不同信号采集端的第二信号信息，通过其在时间域、空间域和/或频率域上的关联性进行清洗。

通过采用上述技术方案，可以通过在时间、空间和频率上的关联性对第二信号信息进行清洗，清洗规则更加的多样化，有助于提高清洗效果。

在第一方面的一种可能的实现方式中，对于属于同一场景下的来自相同信号采集端的第二信号信息，通过其在时间域、空间域和/或频率域上的关联性进行清洗。

通过采用上述技术方案，可以通过在时间、空间和频率上的关联性对第二信号信息进行清洗，清洗规则更加的多样化，有助于提高清洗效果。

在第一方面的一种可能的实现方式中，所述清洗的方式包括去除和/或范围选择。

通过采用上述技术方案，可以将需要的第二信号信息挑出来或者将不用的第二信号信息去除，清洗的方式更加灵活。

在第一方面的一种可能的实现方式中，所述清洗规则信息包括噪声模型信息、干扰模型信息和/或期望信号模型信息。

通过采用上述技术方案，将清洗规则进行了模块化处理，方便根据实际的需求进行定制。