[发明专利]一种工业海量非结构化数据处理方法及系统

权利要求书

1.一种工业海量非结构化数据处理方法，其特征在于，包括：

获取生产中产生的非结构化数据；

将所述非结构化数据转化为结构化数据；

提取所述结构化数据，构建生成器函数，按照生成器函数所建立的筛选条件，对所述结构化数据进行清洗，筛选出有效值，从筛选出的所有时间段和与该时间段对应有效值中分别提取时间和有效值，建立并展示筛选后的时间和有效值之间的关系曲线。

2.根据权利要求1所述方法，其特征在于，所述将所述非结构化数据转化为结构化数据进一步包括：将获取到的非结构化数据通过Spark SQL读取为RDD，或将多个文本文件读取为一个PairRDD，形成带有键值对的文件，并将读取后的结构化数据文件转换为.csv文件；将所述.csv文件保存在存储设备上。

3.根据权利要求1所述方法，其特征在于，所述生成器函数包括设定的单阈值筛选条件，累积阈值筛选条件，在某一时间段按照单阈值筛选条件，累积阈值筛选条件对结构化数据进行清洗，满足单阈值和/或累积阈值筛选条件的结构化数据进行保留，否则进行清洗。

4.根据权利要求3所述方法，其特征在于，所述单阈值筛选条件为：当前值与最新筛选出的值之间的差值与单阈值进行比较，如果大于单阈值作为最新筛选出的有效值进行保留，否则进行清洗；所述累积阈值筛选条件为：当前值和与最新筛选出的值进行比较，如果当前值和最新筛选出来的数值差值的代数和大于累积阈值，则保留最新当前值，并将最新当前值作为最新筛选出的有效值进行保留，否则进行清洗。

5.根据权利要求4所述方法，其特征在于，所述生成器函数还包括绝对阈值筛选条件，所述绝对阈值筛选条件为：当前值与筛选值的累积差值在某一时间段小于绝对阈值，该时间段为恒定段，保留该恒定段的起始点和终点数据值。

6.一种工业海量非结构化数据处理系统，其特征在于，包括：

数据采集模块，用于获取生产中产生的非结构化数据；

数据转换模块，连接所述数据采集模块，用于将所述非结构化数据转化为结构化数据；

数据清洗和展示模块，连接所述数据转换模块，用于提取所述结构化数据，构建生成器函数，按照生成器函数所建立的筛选条件，对结构化数据进行清洗，筛选出有效值，从筛选出的所有时间段和与该时间段对应有效值中分别提取时间和有效值，建立并展示筛选后的时间和有效值之间的关系曲线。

7.根据权利要求6所述系统，其特征在于，所述数据转换模块进一步包括：转换模块和存储模块，转换模块，连接所述数据采集模块，用于将获取到的非结构化数据通过SparkSQL读取为RDD，或将多个文本文件读取为一个PairRDD，形成带有键值对的文件，并将读取后的结构化数据文件转换为.csv文件；存储模块，连接所述转换模块，用于将所述.csv文件保存在存储设备上。

8.根据权利要求6所述系统，其特征在于，所述数据清洗和展示模块进一步包括：数据清洗模块和展示模块，数据清洗模块，用于构建生成器函数，所述生成器函数包括设定的单阈值筛选条件，累积阈值筛选条件，在某一时间段按照单阈值筛选条件，累积阈值筛选条件对结构化数据进行清洗，满足单阈值和/或累积阈值筛选条件的结构化数据进行保留，否则进行清洗。

9.根据权利要求8所述系统，其特征在于，所述生成器模块进一步包括：单阈值筛选模块和累积阈值筛选模块，所述单阈值筛选模块，用于将当前值与最新筛选出的值之间的差值与单阈值进行比较，如果大于单阈值作为最新筛选出的有效值进行保留，否则进行清洗；所述累积阈值筛选模块，用于将当前值和与最新筛选出的值进行比较，如果当前值和最新筛选出来的数值差值的代数和大于累积阈值，则保留最新当前值，并将最新当前值作为最新筛选出的有效值进行保留，否则进行清洗。

10.根据权利要求9所述系统，其特征在于，所述生成器模块还包括：绝对阈值筛选模块，所述绝对阈值筛选模块，用于设定一绝对阈值筛选条件，当前值与筛选值的累积差值在某一时间段小于绝对阈值，该时间段为恒定段，保留该恒定段的起始点和终点数据值。