[发明专利]模型训练方法、数据标签的生成方法及装置

说明书

本申请提供一种模型训练方法、数据标签的生成方法及装置，模型训练方法包括：从样本数据中获取第一属性信息，第一属性信息至少包括：样本数据的数据源、数据格式；样本数据设有业务标签；从样本数据中获取第二属性信息，第二属性信息至少包括：样本数据的表描述信息、表名；从预设的标签集合中确定与样本数据相匹配的目标标签；将第一属性信息、第二属性信息、目标标签、业务标签作为训练样本存储至训练样本集，以利用训练样本集训练出数据标签生成模型，数据标签生成模型用于为待处理数据生成对应的业务标签。应用该方法，可实现利用已训练的数据标签生成模型自动生成未知标签数据的数据标签，从而提高对数据进行标签管理的效率，节省人力物力。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种模型训练方法、数据标签的生成方法及装置。

背景技术

随着互联网大数据的发展，标签管理已成为大数据时代的重要组成部分，其通过为数据定义具有关键字特性的数据标签，可以便于后续的数据索引与数据查找。然而，随着海量数据的诞生，很多数据由于历史原因或者其他种种原因，导致数据分布零碎、散乱，从而形成了多个数据孤岛。

现有技术中，为了解决数据孤岛，可以通过人工进行数据梳理，对数据进行分门别类并定义数据标签。该种方式无疑将耗费大量的人力物力，同时，受人为经验的影响，通过该种方式为数据定义的数据标签的准确性也有待商榷。

发明内容

有鉴于此，本申请提供一种模型训练方法、数据标签的生成方法及装置，以解决现有技术中通过人工对数据定义数据标签，将耗费大量的人力物力，同时无法保证数据标签准确性的问题。

根据本申请实施例的第一方面，提供一种模型训练方法，所述方法包括：

从样本数据中获取第一属性信息，所述第一属性信息至少包括：所述样本数据的数据源、数据格式；所述样本数据设有业务标签；

从所述样本数据中获取第二属性信息，所述第二属性信息至少包括：所述样本数据的表描述信息、表名；

从预设的标签集合中确定与所述样本数据相匹配的目标标签；

将所述第一属性信息、第二属性信息、所述目标标签、所述业务标签作为训练样本存储至训练样本集，以利用所述训练样本集训练出数据标签生成模型，所述数据标签生成模型用于为待处理数据生成对应的业务标签。

根据本申请实施例的第二方面，提供一种数据标签的生成方法，所述方法包括：

将待处理数据分别输入至按照如权利要求1至3任一方法训练出的N个数据标签生成模型，得到N个标签预测参数，所述标签预测参数至少包括预测标签，所述N为大于0的自然数；

依据所述N个标签预测参数确定所述待处理数据的数据标签。

根据本申请实施例的第三方面，提供一种模型训练装置，所述装置包括：

第一获取模块，用于从样本数据中获取第一属性信息，所述第一属性信息至少包括：所述样本数据的数据源、数据格式；所述样本数据设有业务标签；

第二获取模块，用于从所述样本数据中获取第二属性信息，所述第二属性信息至少包括：所述样本数据的表描述信息、表名；

第一确定模块，用于从预设的标签集合中确定与所述样本数据相匹配的目标标签；

模型训练模块，用于将所述第一属性信息、第二属性信息、所述目标标签、所述业务标签作为训练样本存储至训练样本集，以利用所述训练样本集训练出数据标签生成模型，所述数据标签生成模型用于为待处理数据生成对应的业务标签。

根据本申请实施例的第四方面，提供一种数据标签的生成装置，所述装置包括：