[发明专利]一种模型训练方法、装置、实现对标处理的方法及装置

权利要求书

1.一种模型训练方法，包括：

获取预设数量的映射配置数据；

对获取的映射配置数据进行特征提取，获得对标特征；

根据映射配置数据对提取获得的对标特征进行训练，获得用于自动对标的对标模型；

其中，所述对标特征包括以下一项或任意组合：源表中文名、目标表中文名、源表英文名、目标表英文名、源表字段中文含义、目标表字段中文含义、源表字段英文名、目标表字段英文名。

2.根据权利要求1所述的模型训练方法，其特征在于，所述对获取的映射配置数据进行特征提取之后，所述模型训练方法还包括：

对获得的所述对标特征进行预处理；

所述预处理包括空值和/或异常值处理。

3.根据权利要求1或2所述的模型训练方法，其特征在于，所述根据映射配置数据对提取获得的对标特征进行训练，包括：

根据所述预设配置信息遍历确定对标特征之间的对标关系；

根据确定的所述对标特征之间的对标关系，获得用于自动对标的对标模型。

4.根据权利要求3所述的模型训练方法，其特征在于，所述根据所述预设配置信息遍历确定对标特征之间的映射关系，包括：

所述对标特征包括所述源表中文名和所述目标表中文名时，对每一个源表中文名，分别进行以下处理：根据所述预设配置信息，遍历确定与当前源表中文名对标的所有目标表中文名，建立当前源表中文名与所有对标的目标表的中文名之间的对标关系；

所述对标特征包括所述源表英文名和所述目标表英文名时，对每一个所述源表英文名，分别进行以下处理：根据所述预设配置信息，遍历确定与当前源表英文名对标的所有目标表英文名，建立当前源表英文名与所有对标的目标表的英文名之间的对标关系；

所述对标特征包括所述源表字段中文含义和所述目标表字段中文含义时，对每一个所述源表字段中文含义，分别进行以下处理：根据所述预设配置信息，遍历确定与当前源表字段中文含义对标的所有目标表字段中文含义，建立当前源表字段中文与所有对标的目标表字段中文含义之间的对标关系；

所述对标特征包括所述源表字段英文名和所述目标表字段英文名时，对每一个所述源表字段英文名，分别进行以下处理：根据所述预设配置信息，遍历确定与当前源表字段英文名对标的所有目标表字段英文名，建立当前源表字段英文名与所有对标的目标表字段英文名之间的对标关系。

5.根据权利要求3所述的模型训练方法，其特征在于，所述根据映射配置数据对提取获得的对标特征进行训练，包括：

由极端梯度提升XGBoost算法，根据所述映射配置数据遍历确定对标特征之间的对标关系；

根据确定的所述对标特征之间的对标关系，构建用于自动对标的对标模型。

6.一种实现对标处理的方法，包括：

获取预设数量的映射配置数据；

对获取的映射配置数据进行特征提取，获得对标特征；

根据映射配置数据对提取获得的对标特征进行训练，获得用于自动对标的对标模型；

根据获得的对标模型对标准化数据进行自动对标处理；

其中，所述对标特征包括以下一项或任意组合：源表中文名、目标表中文名、源表英文名、目标表英文名、源表字段中文含义、目标表字段中文含义、源表字段英文名、目标表字段英文名。

7.根据权利要求6所述的装置，其特征在于，所述对未对标的源数据进行自动对标处理后，所述方法还包括：

根据接收到的外部指令，判断自动对标处理获得的映射配置数据是否准确；

判断出所述映射配置数据准确时，存储准确的映射配置数据；

判断出所述映射配置数据错误时，根据接收的编辑指令对错误的所述映射配置数据进行校正，并存储校正后的所述映射配置数据。

8.根据权利要求7所述的方法，其特征在于，所述判断自动对标处理获得的映射配置数据是否准确后，所述方法还包括：

按照预设策略将判断出的准确的所述映射配置数据作为正样本，错误的所述映射配置数据作为负样本；

根据获得的所述正样本和所述负样本，对所述对标模型进行更新训练。