[发明专利]一种海量异构传感器格式数据的解析方法

说明书

本发明属于物联网技术领域，公开了一种海量异构传感器格式数据的解析方法，初始化C‑TF‑IDF测量器模块，使用K‑Means算法对数据进行聚类模块，数据模板模块，利用规则模板解析传感器信息模块，根据数据集聚类准确度对脏数据进行清洗或回溯优化信息模板库模块。本发明可以满足物联网传感器数据实时处理的需求，并且针对数据集动态变化的特点，融合自修正模块，自动过滤脏数据或者生成新的解析规则；实现解析传感器数据准确度大于95％；可以选择清洗数据集中的脏数据或回溯优化规则模板。本发明可以达到自动解析其信息的效果；对于不同的传感器环境，通过调节准确度和自修正参数来使系统在不同的环境下达到一个综合的最佳效果。

技术领域

本发明属于物联网技术领域，尤其涉及一种海量异构传感器格式数据的解析方法。

背景技术

目前，业内常用的现有技术是这样的：面对各行各业不同环境下的物联网应用，物联网平台会接入各种不同厂商所提供的传感器设备，而传感器设备发送的数据包格式都不尽相同。为了解析这些异构传感器数据，需要人工设定解析规则，从而将每条数据中的可用信息提取出来。当传感器数据量庞大，异构数据大量混合传入时；如果单纯地依靠人工编写每类数据的解析规则，那么平台将很难满足广大用户的需求，并且对于平台也是一个很大的人工耗损。为了解决这个问题，现有的物联网平台都制定了传感器数据的格式，平台接收到的数据都具有统一的字段含义。这种方法较为简便，但同时也限定了传感器数据格式的多样性，所以通过限制接入的传感器设备数据格式的方法并不能有效地解决传感器数据海量异构的问题。综上所述，现有的技术存在的问题是：面对海量异构传感器数据，只能通过人工设定其解析规则，没有实现对海量异构传感器数据的自动抽取和解析。技术问题不能得到解决的原因：1传感器数据封装格式类别的多样性，以及新的数据封装格式的传感器的接入；2传感器数据量庞大，没法使用人工识别每条数据的解析规则；3数据集是实时更新的，不是一个固定的数据集。

综上所述，现有技术存在的问题是：：面对海量异构传感器数据，只能通过人工设定其解析规则，没有实现对海量异构传感器数据的自动抽取和解析。

解决上述技术问题的难度和意义：技术问题不能得到解决的原因：传感器数据封装格式类别的多样性，以及新的数据封装格式的传感器的接入；传感器数据量庞大，没法使用人工识别每条数据的解析规则；数据集是实时更新的，不是一个固定的数据集。

发明内容

针对现有技术存在的问题，本发明提供了一种海量异构传感器格式数据的解析方法。

本发明是这样实现的，一种海量异构传感器格式数据的解析方法，所述海量异构传感器格式数据的解析方法收集传感器数据，初始化C-TF-IDF测量器，使用K-Means算法对数据进行聚；数据模板自修正，利用规则模板解析传感器信息模块，根据数据集聚类准确度对脏数据进行清洗或回溯优化信息模板库。

进一步，所述海量异构传感器格式数据的解析方法包括以下步骤：

步骤一，收集大量的传感器数据作为元数据；

步骤二，使用元数据初始化C-TF-IDF测量器；

步骤三，确定字符串数据的相似度比较算法；

步骤四，使用K-Means算法，采用区间递增取极大值的方法选取最适合场景的聚类数目K使得每个类别群的平均数据相似度ADS最大；

步骤五，得到数据模板，并检验准确度，在准确度不大于阈值时进行数据模板自修正；

步骤六，生成规则模板，利用规则模板解析传感器信息；

步骤七，新加入的数据占总数据达到比例时，系统自动检验数据集聚类准确度，根据数据集聚类准确度对数据进行清洗或回溯优化信息模板库。