[发明专利]数据属性确定方法、装置

说明书

本发明公开了一种数据属性确定方法及装置，其中，该方法包括：对格式化的原始数据进行拆分获取多个列数据；若所述列数据不包括列头内容，则根据所述列数据的数据类型确定所述列数据对应的候选属性集合；根据所述候选属性集合确定所述列数据的各单元内容的属性；对所述列数据的各单元内容的属性进行统计获取各个属性的置信度，根据所述置信度确定所述列数据的属性。该方法通过分门别类地查找列数据的候选属性集合，以及通过统计各个单元内容的属性确定列数据的属性，实现了尽可能地减少数据属性识别过程中的运算量，提升了数据属性的识别效率和准确率。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种数据属性确定方法、装置。

背景技术

在关系图谱相关的大数据分析中，对结构化的原始数据进行按项拆分和识别，以便把数据映射到实体－属性，便于实体建模和分析。

典型的应用场景是：对于一个结构化完好的excel输入表格，通过依据表格的文件名、表头、每列内容，可以把整个表格内容对应的各列属性猜测出来，并对应到E-R(entityrelationship model，实体联系模式)图的相关模型属性。这样可以实现原始输入信息到图谱模型的关系映射，便于后续图谱挖掘等更深操作。然而，如何提高数据属性的识别率一直是亟待解决的技术问题。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种数据属性确定方法，通过分门别类地查找列数据的候选属性集合，以及通过统计各个单元内容的属性确定列数据的属性，实现了尽可能地减少数据属性识别过程中的运算量，提升了数据属性的识别效率和准确率。

本发明的第二个目的在于提出一种数据属性确定装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为了实现上述目的，本发明第一方面实施例的数据属性确定方法，包括：对格式化的原始数据进行拆分获取多个列数据；

若所述列数据不包括列头内容，则根据所述列数据的数据类型确定所述列数据对应的候选属性集合；

根据所述候选属性集合确定所述列数据的各单元内容的属性；

对所述列数据的各单元内容的属性进行统计获取各个属性的置信度，根据所述置信度确定所述列数据的属性。

如上所述的方法，所述根据所述列数据的数据类型确定所述列数据对应的候选属性集合，包括：

在所述数据类型为数字字母类型时，获取与所述列数据对应的候选正则表达式集合，将候选正则表达式集合确定为所述列数据对应的候选属性集合，其中，所述候选正则表达式集合包括多个正则表达式，所述正则表达式关联数据属性；

所述根据所述候选属性集合确定所述列数据的各单元内容的属性,包括：

将所述单元内容与所述候选正则表达式集合中的各个正则表达式进行逐一匹配；

在所述正则表达式与所述单元内容匹配时，将所述正则表达式关联的数据属性确定为单元内容对应的属性。

如上所述的方法，所述根据所述列数据的数据类型确定所述列数据对应的候选属性集合，包括：

在所述数据类型为非数字字母类型时，获取与所述列数据对应的候选哈希词典集合，将所述候选哈希词典集合确定为所述列数据对应的候选属性集合，其中，所述候选哈希词典集合包括多个哈希词典，所述哈希词典关联数据属性；

所述根据所述候选属性集合确定所述列数据的各单元内容的属性，包括：

将单元内容输入到所述候选哈希词典集合中的各个哈希词典进行逐一查询；