[发明专利]数据分析系统和数据分析方法

说明书

一种数据分析系统和数据分析方法，该数据分析方法包括：取得一数据表，数据表包括多个栏位，此些栏位中各自存储一栏位数据；依据此些栏位数据分类出一栏位形态；判断此些栏位各自的一栏位类别；计算此些栏位之间各自的一相似度，依据此些相似度判断此些栏位之间各自的一关联性；以及依据此些栏位类别、栏位形态及关联性产生一栏位数据描述档，再通过判断栏位数据描述档是否异常，以评估数据品质。

技术领域

本发明的实施例主要涉及一种分析方法，特别涉及一种数据分析系统和数据分析方法。

背景技术

随着数据数据搜集更加便利，可利用的数据数据量急速增加，且数据分析技术也跟着蓬勃发展。有效的大数据数据分析结果需仰赖良好的数据品质，因此数据品质是数据分析上重要的课题。现行的数据品质诊断做法可分为数据分析专家自行利用程序语言分析，或使用市面上分析套装软件。

然而，在数据分析流程中，首先必须先确认数据品质，再进行数据前处理，但实务上往往都是在数据前处理阶段同步观察数据品质，使得此阶段需投入大量人力、以致产生庞大沟通及时间成本。

因此如何建立一套自动化辅助机制以减少数据前处理阶段所需的人力及时间成本，已成为本领域待解决的问题之一。

发明内容

有鉴于上述现有技术的问题，本发明的实施例提供了一种数据分析系统和方法。

根据本发明的一实施例提供了一种数据分析系统。上述数据分析系统包括一处理器、一存储装置、一栏位形态分析装置、一栏位分类装置及一栏位关联装置。处理器用以取得至少一数据表，数据表包括多个栏位，此些栏位中各自存储一栏位数据。存储装置用以存储数据表。栏位形态分析装置用以依据此些栏位数据分析出一栏位形态。栏位分类装置用以判断此些栏位各自的一栏位类别。栏位关联装置用以计算跨数据表中此些栏位之间各自的一相似度，依据此些相似度判断此些栏位之间各自的一关联性。其中，处理器依据此些栏位类别、栏位形态及此些关联性产生一栏位数据描述档，处理器判断栏位数据描述档是否异常。

根据本发明的一实施例提供了一种数据分析方法。上述数据分析方法的步骤包括，取得一数据表，数据表包括多个栏位，此些栏位中各自存储一栏位数据；依据此些栏位数据分析出一栏位形态；判断此些栏位各自的一栏位类别；计算跨数据表中此些栏位之间各自的一相似度，依据此些相似度判断此些栏位之间各自的一关联性；以及依据此些栏位类别、栏位形态及关联性产生一栏位数据描述档，进而判断栏位数据描述档是否异常。

根据本发明提出的数据分析方法及数据分析系统，可自动化地在数据前处理的阶段，通过分析栏位类别、栏位形态、关联性等等信息，以建立自动化机制，产生栏位的数据描述档，进而辅助使用者快速了解数据，达到降低数据前处理阶段所需的人力，并提升数据前处理阶段的数据分析效率。

附图说明

图1是显示根据本发明的一实施例所述的一数据分析系统的方框图。

图2是显示根据本发明的一实施例所述的一数据分析方法的示意图。

图3A～图3B是显示根据本发明的一实施例所述的一栏位形态分析方法的流程图。

图4是显示根据本发明的一实施例所述的一栏位分类方法的流程图。

图5是显示根据本发明的一实施例所述的一栏位关联方法的流程图。

附图标记说明：

100：数据分析系统

10：处理器

20：存储装置

30：栏位形态分析装置

40：栏位分类装置

50：栏位关联装置

200：数据分析方法