[发明专利]一种海量异构传感器格式数据的解析方法

权利要求书

1.一种海量异构传感器格式数据的解析方法，其特征在于，所述海量异构传感器格式数据的解析方法收集传感器数据，初始化C-TF-IDF测量器，使用K-Means算法对数据进行聚；数据模板自修正，利用规则模板解析传感器信息模块，根据数据集聚类准确度对脏数据进行清洗或回溯优化信息模板库；

所述海量异构传感器格式数据的解析方法包括以下步骤：

步骤一，收集大量的传感器数据作为元数据；

步骤二，使用元数据初始化C-TF-IDF测量器；

步骤三，确定字符串数据的相似度比较算法；

步骤四，使用K-Means算法，采用区间递增取极大值的方法选取最适合场景的聚类数目K使得每个类别群的平均数据相似度ADS最大；

步骤五，得到数据模板，并检验准确度，在准确度不大于阈值时进行数据模板自修正；

步骤六，生成规则模板，利用规则模板解析传感器信息；

步骤七，新加入的数据占总数据达到比例时，系统自动检验数据集聚类准确度，根据数据集聚类准确度对数据进行清洗优化信息模板库；

所述元数据初始化C-TF-IDF测量器步骤具体包括：

(1)对一条传感器数据，字符串部分出现频率高的相同部分是高权重的，数字部分出现频率低的不同部分是高权重的，两者结合共同代表一条数据的高权重部分；对字符串部分采用正向文件频率，相同部分权重高；而数字部分则采用逆向文件频率，相同部分权重低；

(2)将每一条数据划成一行，每一行在后续的计算中都当做一个文档，对每一个文档中的词分别做距离计算处理，实现对海量异构传感器数据的区别标记；

(3)分别计算传感器数据中的字符部分的权重W_s和数值部分的权重W_n，将W_s和W_n按权重结合得出该条数据的总权重W。

2.如权利要求1所述的海量异构传感器格式数据的解析方法，其特征在于，所述字符串数据的相似度比较算法具体包括：

(1)初始化一个矩阵data[i][j]，i∈[0,str.length()]，j∈[0,target.lenth()]使第一行和列的值从0开始增量递加，i变量代表被比较字符串str索引，j变量代表target字符串索引，该矩阵中定义临时变量temp来记录两个字符串的相同字符数量，相同是temp＝0，不同时temp＝1；

(2)依次遍历目标字符串str，使其与target字符串进行匹配标记，i与j变量在两个数据字符串上遍历；次匹配到相同的字符，就做标记；str_i＝target_j，将临时变量temp标记为0；然后在矩阵data[i][j]赋值，该值是data[i-1][j]+1，data[i][j-1]+1，data[i-1][j-1]+temp三者之中的最小值；

(3)每完成一次循环就标记最小增量，获得data[str.length][target.length]的增量标记compare(str,target)，该增量标记是标记出了两个串不同的部分，最终计算相似度是需要除去不相同的部分，计算字符串的相似度公式如下(DS∈[0,1])：

3.如权利要求1所述的海量异构传感器格式数据的解析方法，其特征在于，所述区间递增取极大值选取聚类数目K具体包括：

(1)确定准确度使用ADS进行比较；

(2)当时，取K＝K_i，则此K值即为所求；表示数据集划分为相近种类的子数据集，取K＝K_i；取K＝K_j。

4.如权利要求1所述的海量异构传感器格式数据的解析方法，其特征在于，所述平均数据相似度ADS的计算具体包括：

(1)令每个类别群中第一条数据作为target数据；

(2)计算该数据与所属类别群中其他数据间的相似度，其平均值作为所属类别群的相似度考量，计算公式，docNum代表数据的数目：