[发明专利]用于IT系统应用考评拓展平台的数据完整性确定方法

摘要

本发明公开了一种用于IT系统应用考评拓展平台的数据完整性确定方法，包括计算空值、确定字段必要性和计算不完整的记录三个步骤，能够方便快捷地对IT系统应用考评拓展平台的数据完整性模型进行检测，有利于下一步对数据进行处理。

主权项

1.用于IT系统应用考评拓展平台的数据完整性确定方法，其特征在于：包括以下步骤：1)从数据库中读取数据表；2)计算数据表中一条记录字段空值：n表该表字段数，I表示第I条记录数，该条记录所有字段的数值集(向量形式)：v_I＝(p₁，p₂，Λ，p_n)，其中p_i(1≤i≤n)代表字段，字段为空的表达方式：由此可以计算数据表中所有记录空值：m表示记录总数，采用二维数组来表达各条记录字段，则所有记录字段的数值集：v₁＝(p₁₁，p₁₂，Λ，p_1n)，v₂＝(p₂₁，p₂₂，Λ，p_2n)，v_m＝(p_m1，p_m2，Λ，p_mn).其中于是，所有记录字段的数值集(向量形式)组成所有记录字段矩阵：v=v1v2Kvm=p11,p12,Λ,p1np21,p22,Λ,p2nKKKKKpm1,pm2,Λ,pmn]]>此矩阵为0，1矩阵，且矩阵的行体现了各记录的空值情况，各列体现了各字段的的空值情况，其中，当p_ij＝1时，p_ij表明的是第i条记录，第j个字段为空值；当p_ij＝0时，p_ij表明的是第i条记录，第j个字段为非空值，若记：v＝(c₁，c₂，K，c_n)，其中，则c_j表示第j个字段；3)确定字段必要性：根据该张数据表中所有记录该字段的空值率来确定该字段是否为必要字段，假设W为恒定字段必要性的空值率常量(或阀值)，设W＝1％，即该张数据表中所有记录该字段空值率小于1％，各字段的空值率可用下面的公式计算：K K K K K K K K K K K K其中k_i(1≤i≤n)代表第i个字段的空值率，表现了第i个字段的完整性，根据空值率小于W(1％)恒定值，则判断该字段为必要字段，若k₂的值为0.0001，则确定为该表第第个字段为必要字段，最终得出必要字段数字集：M＝(c′₁，c′₂，K，c′_t)，其中1≤t≤n；4)计算不完整的记录：满足阀值的数据表的字段完整性(必要字段率)可表示为：p1=tn×100%;]]>设M=c1′,c2′Kct′=p11′,p12′,Λ,p1t′p21′,p22′,Λ,p2t′KKKKKpm1′,pm2′,Λ,pmt′=v1′v2′Kvm′;]]>其中v′_i＝(p′_i1，p′_i2，Λ，p′_it)(1≤i≤m)，从必要字段矩阵可判定各记录是否完整；其判定原则：对于数据表M，考虑其所有字段和所有记录，把有空值字段的记录称为不完整数据，无空值字段的记录称为完整数据；当记录v′_i＝(p′_i1，p′_i2，Λ，p′_it)＝(0，0，Λ，0，)(1≤i≤m)时，v′_i为完整记录，否则，v_i为不完整记录。设数据表M中的记录总数为m，所有完整数据(或记录)的总数为s，则完整性模型可表示为：完整性模型或绝对完整率：p2=sm×100%.]]>