[发明专利]基于多传感器的多元异构数据流自动入库方法

摘要

本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法，包括：处理器接收由至少两个传感器采集的多元异构数据流；所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中，若是，则判断所述多元异构数据是否匹配所述传感器格式信息表，若是，则存储所述多元异构数据至本地流数据库；若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库，提高了数据统计分析处理效率，降低人力、时间、成本耗费。

主权项

1.一种基于多传感器的多元异构数据流自动入库处理方法，其特征在于，包括：处理器接收由至少两个传感器采集的多元异构数据流；所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中，若存在，则根据所述传感器格式信息表存储所述多元异构数据至本地流数据库；若不存在，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中，并根据添加后的传感器格式信息表存储所述多元异构数据；所述根据所述传感器格式信息表存储所述多元异构数据至本地流数据库，包括：所述处理器判断所述多元异构数据是否匹配所述传感器格式信息表，若是，则存储所述多元异构数据至本地流数据库；若否，则将异常情况记录在监测日期表中；所述传感器格式信息表包括传感器名称、数据存放路径、传感器釆集周期、日期文件夹格式、数据文件名格式、采集周期、时间标签格式、表头行数、数据行数、数据分隔符、文件编码、最新监测日期、监测日期表名，每一行的行号、内容格式,每一列的列号、监测量名、数据格式、最大值、最小值、默认值、超岀最大值时修复函数、小于最小值时修复函数、数据丢失时修复函数；所述将异常情况记录在监测日期表中之后，还包括：所述处理器根据所述监测日期表、异常字符表以及修复函数表修复所述多元异构数据流中的所述异常字符，所述异常字符表包括异常字符对应的传感器名称、字符名称、字符所对应的列号、使用的修复函数以及默认替换值,所述修复函数表包括数据丢失补全函数、错误数据修正函数、无序数据排序函数。