[发明专利]一种制造业数据挖掘中的源数据配置管理方法

说明书

本发明提供了提供一种制造业数据挖掘中的源数据配置管理方法，把制造业的数据分析任务进行了整理和分类，经过提炼和整理，将制造业的数据分析任务划分为两大类,通过建立数据模型对进行数据分析，并对各类数据定义不同的数据格式，以此完成数据配置和管理。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种制造业数据挖掘中的源数据配置管理方法。

背景技术

在制造业日益发展今天，制造业技术升级日新月异。机器学习等人工智能方法不断的被应用到制造业中去，为制造业的数据挖掘持续贡献力量。尽管机器学习方法在某些行业的应用已经比较成熟，但在制造业的应用方兴未艾，还有许多需要探索和研究的技术领域。本案所针对的制造业数据挖掘中的数据源管理方法就是其中之一。

长久以来，制造业的数据分析基本上停留在数据的可视化和基本的统计分析的范畴内，数据的利用效率偏低。造成这一现象的原因除了数据孤岛、数据完整性不佳等数据本身的问题之外，很重要的一个因素就是数据源与数据分析方法之间的交互机制和方法缺失。无论是商用软件，还是免费开源软件，都有不少的数据分析软件，但这些软件都有一个显著的缺点：仅对被分析的数据一般结构进行要求，而不对数据在数据分析任务中的角色和配置做要求。并且，数据分析的方法是固定的，而数据是千变万化的，数据分析的角度也是千变万化的。需要探索一种机制在不改变数据的情况下，快速实现数据分析的范围、视角等切换。

发明内容

本发明提供一种制造业数据挖掘中的源数据配置管理方法，包括如下步骤：

步骤1：把制造业的数据分析任务进行了整理和分类，经过提炼和整理，将制造业的数据分析任务划分为两大类：交叉型分析任务和非交叉型分析任务，并对两种任务分别定义代号规则；

步骤2：将与分析任务对应的数据源从耽搁数据源扩展为数据集群并定义其数据名为X数据集群和Y数据集群；

步骤3：对单一数据集群进行格式定义，并按照要求对数据进行配置，具体要求包括：

对于X数据，需要指明数据源中的哪一个参数是索引；一个数据源中的索引是唯一的，并将其标记为“索引；”

需要指明数据源中哪些参数需要参与数据分析任务，并将其标记为“参数”；

未标记的数据参数不参与数据分析任务，并且被标记为“TBD”；

对于Y数据，需要指明数据源中的哪一个参数是索引；一个数据源中的索引是唯一的，并将其标记为“索引”；

需要指明数据源中哪些参数需要参与数据分析任务，并将其标记为“目标”；

未标记的数据参数不参与数据分析任务，并且被标记为“TBD”。

其中，所述交叉型分析任务目的是寻找两类数据之间的关系，并用这个模型来预测质量表现；所述非交叉型分析任务：只针对一类数据源进行的各种分析任务；分类的依据是分析任务的类型，即交叉型任务和非交叉型任务，所述交叉型分析任务的一般模型遵循一下算法：

已知样本组合(X,y)，其中X和y均为多维向量：

求得映射F(.)，使得F(X)-y趋近于0；

可见，在交叉分析任务中，需要明确指定X和y，而非交叉分析任务中，则只有X，而不会出现y。

其中，X和y都是由用户自由指定的，同一组数据既可以被指定为X，也可以被指定为y，由用户的分析模型确定。

所述交叉型分析还是非交叉型分析，都同时涉及多个独立的数据源；

所述的X数据集群和Y数据集群的定义格式需要满足如下格式要求：

每个参数为数据表格中的一列；