[发明专利]一种元数据字段的术语匹配方法、匹配系统和存储介质

说明书

本申请公开了一种元数据字段的术语匹配方法、匹配系统和存储介质，包括：对元数据训练集中的第一检索词进行预处理，得到第二检索词；对第二检索词进行判断，与待训练词汇表数据库中的待训练词汇进行匹配，获取匹配不成功的待检索词；使用条件随机场分词算法对待检索词进行分词，得到每个待检索词的多个第三检索词，与待训练词汇进行匹配，确定匹配词；根据匹配词对待训练词汇表数据库进行更新，对条件随机场分词算法进行训练，得到训练好的分类器和训词汇表；使用训练好的分类器和词汇表，对待匹配的元数据字段中的待匹配词进行匹配。使用条件随机场分词算法对待检索词进行分词，确定匹配词，能够在自动匹配的前提下提高待检索词的匹配准确度。

技术领域

本申请涉及数据识别技术领域，尤其涉及一种元数据字段的术语匹配方法、匹配系统和存储介质。

背景技术

大多数企业需要花费大量的时间和精力，处理杂乱无章且疏于整合的数据。他们的员工要么无法找到合适的数据，要么不信任所找到的数据。最重要的是，各式各样的行业法规制约了自助服务和数据自主化进程。因此，企业尝试通过各种劳动密集型任务(包括编写自定义的程序，开发全局替换功能等)以修复数据，这严重影响数据分析师和数据科学家的生产力。大企业尤其如此，多年的并购云集了各色系统和数据库，导致数据环境极其复杂。虽然维护这些遗留数据环境已令企业感到疲惫不堪，但新数据仍以无法想象的速度不断产生。

综上所述，需要提供一种自动且准确性高的元数据字段的术语匹配方法、匹配系统和存储介质。

发明内容

为解决以上问题，本申请提出了一种元数据字段的术语匹配方法、匹配系统和存储介质。

第一方面，本申请提出了一种元数据字段的术语匹配方法，包括：

对元数据训练集中的第一检索词进行预处理，得到第二检索词；

对所述第二检索词进行判断，与待训练词汇表数据库中的待训练词汇进行匹配，获取匹配不成功的待检索词；

使用条件随机场分词算法对所述待检索词进行分词，得到每个所述待检索词的多个第三检索词，与所述待训练词汇进行匹配，确定匹配词；

根据所述匹配词对待训练词汇表数据库进行更新，对所述条件随机场分词算法进行训练，得到训练好的分类器和训练好的词汇表；

使用训练好的分类器和训练好的所述词汇表，对待匹配的元数据字段进行匹配。

优选地，在所述对元数据训练集中的第一检索词进行预处理，得到第二检索词之前，还包括：

收集表数据并清洗所述表数据中的非法字符，建立待训练词汇表；

使用待训练词汇表建立待训练词汇表数据库。

优选地，所述对元数据训练集中的第一检索词进行预处理，得到第二检索词，包括：

获取元数据训练集中元数据中的所有第一检索词；

去除每个所述第一检索词中的非法字符，得到每个所述第一检索词对应的第二检索词。

优选地，所述对所述第二检索词进行判断，与待训练词汇表数据库中的待训练词汇进行匹配，得到待检索词，包括：

对所述第二检索词进行判断，得到中文第二检索词和非中文第二检索词；

在待训练词汇表数据库中对所述中文第二检索词进行直接匹配，确定匹配不到匹配词的所述中文第二检索词；

将所述非中文第二检索词和匹配不到匹配词的所述中文第二检索词作为待检索词。

优选地，所述使用条件随机场分词算法对所述待检索词进行分词，得到每个所述待检索词的多个第三检索词，与所述待训练词汇进行匹配，确定匹配词，包括：