[发明专利]数据类型识别方法及装置、数据入库方法及装置

说明书

本发明公开了一种数据类型识别方法及装置、数据入库方法及装置，其中，在该数据类型识别方法，包括：S1获取待识别的列数据，列数据中包括列头和数据内容；S2提取列数据的特征得到特征向量，特征向量中包括列头特征及数据内容特征；S3将特征向量输入预训练的分类模型中对其进行分类，完成对列数据的识别。其根据列数据的列头和数据内容得到特征向量，输入预训练的分类模型中对其进行分类，得到其所属语义属性，完成对结构化数据类型的识别，简单方便，且效率高，无需人工的介入，大大节约了人力物力。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据类型识别方法及装置、数据入库方法及装置。

背景技术

结构化数据分析是数据挖掘中重要环节之一。对于Excel、csv等格式文件存储的结构化数据，很难直接进行分析。分析者通常会借助关系型数据库或图数据库来完成复杂的分析操作，即需要将文件中的数据存入关系型数据库或图数据库，然后借助其它分析框架完成分析工作。在入库过程中，分析者需要将Excel、csv等格式的文件中的列数据与数据库中的一个字段进行映射。

目前，数据入库过程中的字段匹配问题通常有两种方式：一种是分析者手动完成映射，需要大量的人工介入，费时费力，效率低下。另一种是借助策略来达到自动映射的效果，可以通过以下两种方式实现：1.记录之前人工映射的结果，若当前文件列(通常以列头作为标准)在之前处理过，则快速匹配映射；2.通过列头与数据库字段的硬性匹配或正则匹配等策略来完成映射。这两种方式都存在不够灵活的问题，当出现一列没有处理过的类似数据，仍然需要人工介入。

发明内容

本发明的目的是提供一种数据类型识别方法及装置、数据入库方法及装置，有效解决现有技术中结构化数据类型识别不够灵活，效率低下的技术问题。

本发明提供的技术方案如下：

一种数据类型识别方法，包括：

S1获取待识别的列数据，所述列数据中包括列头和数据内容；

S2提取所述列数据的特征得到特征向量，所述特征向量中包括列头特征及数据内容特征；

S3将特征向量输入预训练的分类模型中对其进行分类，完成对列数据的识别。

进一步优选地，在步骤S2中，包括：

S21提取列数据中的列头，得到列头特征；

S22提取数据内容中单条数据的第一预设特征；

S23针对所有数据内容提取第二预设特征；

S24拼接列头特征、第一预设特征及第二预设特征得到所述列数据的特征向量。

进一步优选地，在步骤S21中，使用词嵌入模型将列头转换为预设维度的特征向量；

和/或，在步骤S22中，提取数据内容中单条数据的字符串长度、格式及构成元素特征；

和/或，在步骤S23中，针对所有数据内容提取离散度、连续性及方差特征。

进一步优选地，在步骤S1之前，还包括对分类模型进行训练的步骤，包括：

S01选定训练语料，并对其进行预处理操作；

S02选定分类模型；

S03从预处理操作之后的训练语料中提取训练样本；

S04对提取的训练样本标注分类类别；

S05将标注了分类类别的训练样本中输入分类模型，对其进行训练。

本发明还提供了一种数据入库方法，包括上述数据类型识别方法，还包括：