[发明专利]基于核心词相似度判断企业中文名称重复的方法

摘要

本发明公开了一种基于核心词相似度判断企业中文名称重复的方法，通过ETL,把B2B电子商务平台数据库中的企业中文名称，加载到企业名称数据集市中；对数据集市中保存的企业中文名称进行预处理；通过企业中文名称核心词提取方法来提取这些新增企业中文名称的核心词；根据核心词所对应的企业中文名称集，从而找到对应的未去除名称地域关键词的企业中文名称，通过考虑权重的文本相似度计算处理方法，计算新增企业中文名称与对应的去除名称地域关键词的企业中文名称的相似度。本发明减少了匹配工作的处理量，提高了整个方法的处理效率。

主权项

一种基于核心词相似度判断企业中文名称重复的方法，包括以下步骤：步骤一：通过ETL,把B2B电子商务平台数据库中的企业中文名称，加载到企业名称数据集市中；步骤二：对数据集市中保存的企业中文名称进行预处理；步骤三：在企业名称数据集市中，对于每个企业中文名称，与中国地域名称库进行比对，去掉名称中包含的地域特征的关键词；然后在该数据集市中增加1列，用于保存去掉地域特征关键词的企业中文名称；其中，中国地域名称库保存了国内所有地域的名称；步骤四：对于B2B电子商务平台中不断新增的企业中文名称，通过ETL加载到数据集市中，通过企业中文名称核心词提取方法来提取这些新增企业中文名称的核心词；步骤五：取出每一个新增的企业中文名称的核心词，与企业名称数据集市中保存的去掉地域特征关键词的企业中文名称，两者进行匹配，在数据集市中，得到所有包含核心词的企业中文名称集；步骤六：对于每一个新增的中文公司名称，根据其包含的核心词所对应的企业中文名称集，从而找到对应的未去除名称地域关键词的企业中文名称，通过增加词语重要程度因素的文本相似度计算处理方法，计算新增企业中文名称与对应的去除名称地域关键词的企业中文名称的相似度；步骤七：根据业务需求提取相似度高的名称，帮助审核人员快速、准确判断企业中文名称的重复情况，对于相似度低的企业中文名称，加入到企业名称数据集市。