[发明专利]一种数据标准化的数据采集方法

权利要求书

1.一种数据标准化的数据采集方法，其特征在于，包括：

获取不同部门的业务数据以及对应的业务数据的数据采集口；

建立所述业务数据与对应数据采集口的对应关系，并从关系数据库中，调取与所述对应关系相关的数据采集业务；

根据所述数据采集业务，校验不同部门的业务数据的数据标准化，当所述数据标准化符合预设采集标准时，采集并存储所述业务数据，所述数据标准化与数据类型、数据重叠与否有关；

否则，根据校验结果，确定所述数据标准化与预设采集标准的差异信息，并基于所述差异信息，对所述业务数据的传输属性的权重值和数据采集口的采集属性的权重值进行优先级排序；

对优先级排序高的权重值所对应的目标进行预调整，来实现对所述业务数据的采集及存储，所述目标为业务数据或数据采集口；

其中，根据所述数据采集业务，校验不同部门的业务数据的数据标准化之前，还包括：

检测所述不同部门业务数据的数据类型，过程如下：

从所述不同部门业务数据的读取所有可能显示字符的字符串，将所述字符串拆分为可显示字符组合，并计算所述可显示字符组合的概率差异表，基于所述概率差异表，利用差异进化算法将所述可显示字符组合划分为待提取字符串和非待提取字符串，且通过熵值法剔除所述待提取字符串中不准确的字符串，获得目标字符串；

对所述非待提取字符串，利用通配符进行过滤，得到所述非待提取字符串的第一正则表达式，对所述目标字符串进行遍历，将所述目标字符串的字符与表达式进行一一对应，并将所述目标字符串中每个字符对应的表达式进行整合，得到所述目标字符串的第二正则表达式；

将所述第一正则表达式和第二正则表达式按照所述非待提取字符串和目标字符串在所述业务数据中的排列顺序进行合并，得到所述业务数据的正则表达式，并获取与所述正则表达式相关联的所述业务数据的特征值；

将所述业务数据的正则表达式与特征值与数据类型库中不同的正则表达式和特征值进行匹配，并获得匹配结果，基于所述匹配结果获得所述业务数据的数据类型；

其中，所述数据类型库中不同的数据类型对应不同的正则表达式及特征值；

统计所述业务数据的数据类型的种类及数量并记录;

其中，根据所述数据采集业务，校验不同部门的业务数据的数据标准化之前，还包括：

检测所述不同部门业务数据中的重复数据及重复率，过程如下：

获取所述不同部门的业务数据的特征序列，并对所述特征序列进行检测获得特征向量信息，基于所述特征向量信息进行训练，获得序列切分模型，基于所述序列切分模型对所述特征序列进行切分，获得第一序列和第二序列；

将所述第一序列和第二序列进行差分处理并获得差分结果，根据所述差分结果获得所述业务数据的业务特征，由所述业务特征分别组合成与所述业务数据对应的组合；

运用散列函数提取所述组合中业务特征中的多个指纹，并获取所述多个指纹的指纹值，选取指纹值最小的指纹作为检测指纹，重复进行多次提取后获得由多个所述检测指纹组成的数列；

基于所述检测指纹的格式获取第一映射关系，基于所述检测指纹的长度获取第二映射关系，基于所述检测指纹的内容获取第三映射关系，并基于所述第一映射关系、第二映射关系、第三映射关系进行融合处理，得到目标映射关系；

将所述数列中的每一个检测指纹按照所述目标映射关系映射至不同的检测集合中，基于hash算法计算同一个检测集合中任意两个检测指纹所对应的业务特征的相似度；

所述两个业务特征的相似度大于预设阈值时，判定所述两个业务特征相对应的业务数据为重复数据，并对所述重复数据的数量进行统计并记录；

基于所述重复数据的数量在所述不同部门的业务数据的数量占比，获得所述业务数据的数据重复率；

其中，根据所述数据采集业务，校验不同部门的业务数据的数据标准化，当所述数据标准化符合预设采集标准时，采集并存储所述业务数据，包括：

设置所述预设采集标准如下：设置所述不同部门的业务数据的数据重复率小于预设重复率，并设置所述不同部门的业务数据的数据类型种类大于预设数目、每个数据类型的数量大于预设数量；

基于获取的所述不同部门的业务数据的数据重复率、数据类型及各数据类型的数量与所述预设采集标准进行比较，当全部满足所述预设采集标准的要求时，采集并存储所述业务数据；

其中，还包括：当所述不同部门的业务数据不满足所述预设采集标准的要求时，重新计算所述业务数据的传输属性的权重值和数据采集口的采集属性的权重值，过程如下：

根据如下公式计算所述业务数据的传输属性的权重值：

其中，表示所述业务数据的传输属性的权重值，表示所述业务数据的传输属性的初始权重值，m表示所述业务数据的总数量，a_i表示第i个业务数据对应的特征值，且i=1,2,...,m，α表示所述业务数据的重复率；

根据如下公式计算所述数据采集口的采集属性的权重值：

其中，η₁表示所述数据采集口的采集属性的权重值，η_c表示文本数据采集口的初始权重值，η_d表示图像数据采集口的初始权重值，s表示所述业务数据的数据类型种类数，h_j表示第j种数据类型包含的业务数据的数量，且j=1,2,...,s；

基于计算获得的所述业务数据的传输属性的权重值和数据采集口的采集属性的权重值，按照所述权重值从大到小进行优先级排序；

对优先级排序高的权重值所对应的目标进行预调整后，重新对所述业务数据进行采集及存储，完成对所述业务数据的标准化采集。