[发明专利]数据字段统一标准命名方法及装置

说明书

本发明提供了一种数据字段统一标准命名方法及装置，该方法包括：获取用户输入的字段名及所述字段名的所属业务归属标签；根据字段名从相应的标准字段库中查找标准字段库中是否有与所述字段名完全匹配的标准字段；若标准字段库中没有与字段名完全相匹配的标准字段，根据获取的业务归属标签选择相应的业务库和基础库对字段名进行词根切词得到字段词根组合信息；判断字段词根组合信息中的词根是否均为有效词根；若字段词根组合信息中的词根均为有效词根，将所述字段词根组成信息生成标准字段存入标准字段库；若字段词根组合信息中的词根有无效词根，根据字段词根组合信息重新调整词根再次输入标准字段库中进行匹配。本发明有效地提升了数据质量。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据字段统一标准命名方法及装置。

背景技术

随着线上、线下业务不断的融合，数据质量要求不断的提高，解决部门间数据难以互通、数据质量参差不齐、业务流程难以穿透等问题显得成尤为重要。数据能力建设已经成为金融业数字化转型的核心能力指标，数据字段标准统一命名管理是数据标准治理的重要基石。

目前，数据字段标准统一命名使用的方法是最大匹配分词法，该方法的优点是相比其他分词具有算法实现简约，分词效率快速，系统投入低，实现快速；缺点是词典中词的数量直接影响切词准确率及效率，存在分词歧义，难以体现语境背景。

发明内容

本发明提供了一种数据字段统一标准命名方法及装置，旨在实现提高数据的切词准确率、提升数据质量。

第一方面，本发明实施例提供一种数据字段统一标准命名方法，该方法包括：获取用户输入的字段名及所述字段名的所属业务归属标签，所述标签的候选值分为一个基础标签和多个业务标签；根据所述字段名从相应的标准字段库中查找所述标准字段库中是否有与所述字段名完全匹配的标准字段；若所述标准字段库中没有与所述字段名完全相匹配的标准字段，根据获取的业务归属标签选择相应的业务库和基础库对所述字段名进行词根切词得到字段词根组合信息，所述字段词根组合信息表示所述字段名被切词后得到的多个词根；判断所述字段词根组合信息中的词根是否均为有效词根；若所述字段词根组合信息中的词根均为有效词根，将所述字段词根组成信息生成标准字段存入标准字段库；若所述字段词根组合信息中的词根有无效词根，根据所述字段词根组合信息重新调整词根，将调整后的词根再次输入标准字段库进行匹配。

可选地，所述根据所述字段名查找标准字段库之前包括创建标准字段库，其中，创建标准字段库具体包括：将原先混合在词根库中的词根拆分为多个业务词根和一个基础词根，每个词根对应一个业务归属标签；根据所述业务归属标签对每个词根进行业务库或基础库归库，其中，多个业务词根共用一个业务归属标签的归于基础库，业务专用词根归于对应业务库；根据使用统计频率对每一个拆分到库的词进行分级管理。

可选地，所述分级管理包括多个不同级别，所述不同级别的大小由词根的使用统计频率决定，使用统计频率越高的词根级别越大。

可选地，所述根据获取的业务归属标签选择相应的业务库和基础库对所述字段名进行词根切词得到字段词根组合信息具体包括：根据词根级别从大到小依次对所述业务库和基础库中的词根集进行最大匹配切词。

可选地，所述若所述字段词根组合信息中的词根有无效词根还包括：开启所有的业务库和基础库，将所有的业务库和基础库作为切词库对所述字段名进行词根切词。

可选地，若将所有的业务库和基础库作为切词库对所述字段名进行词根切词后依然还有无效词根，还包括：将无效的词根进行词根申请，等待审批结果通知；若审批成功，将所述审批成功的词根存入所述词根库。

可选地，对所述词根库和所述标准字段库实行只增不删原则，其中，词根可重新调整所属业务库或基础库及级别。