[发明专利]一种基于词向量模型的机构名称规范方法有效
申请号: | 202010844347.X | 申请日: | 2020-08-20 |
公开(公告)号: | CN111984776B | 公开(公告)日: | 2023-08-11 |
发明(设计)人: | 侯颖;崔运鹏;李欢;王婷;马浩 | 申请(专利权)人: | 中国农业科学院农业信息研究所 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/35;G06F16/38 |
代理公司: | 北京德崇智捷知识产权代理有限公司 11467 | 代理人: | 申星宇 |
地址: | 100081 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 向量 模型 机构名称 规范 方法 | ||
本发明公开了一种基于词向量模型的机构名称规范方法,包括:分析科技文献数据机构名称字段特征,选取机构相关字段;提取文献相关字段信息文本,并对相关字段进行清洗和变换;采用word2vec词向量方法对提取文本信息构建词向量模型并对机构名称进行聚类;结合词向量模型和聚类文件查找相似度高的词,从中识别并提取机构名称;采用Jaro相似度方法通过设置阈值计算匹配相似机构名称。本发明能有效改善基于海量数据的科技评价中的数据可靠性问题,规范科技文献数据库中的机构名称存储与管理,从而提升科技文献数据库建设的规范性。
技术领域
本发明涉及图书情报和信息提取领域,尤其涉及一种基于词向量模型的机构名称规范方法。
背景技术
在科技文献数据库中,包含多种来源的文献信息资源,从海量的资源中进行信息抽取,需要用实体进行检索,实体主要包括人名、机构、地理名称、日期、题目、关键词等内容,其中人名和机构名是最重要的两类。
随着历史变迁和体制改革,机构名称特别是团体名称因其基本职能、组织结构的变化也经常发生变化,由于中英文全称、简称和缩写等原因,许多机构名称存在不统一和不规范表述的问题。在科技文献方面,这种不规范、不统一的机构名称表述现象容易造成针对这些机构学术成果的检索和统计错误,也不利于对其相关数据的统计和挖掘分析。
目前对科技文献的名称规范尚处于研究阶段,主要采取手工标注、更正等方法,这种方法对人力成本要求高,从而导致现有人名和机构之间的关联较为困难。因此需要一种基于词向量模型的机构名称规范方法以解決上述问题。
发明内容
为解决上述技术问题,本发明的目的在于提供一种基于词向量模型的机构名称规范方法。本发明的目的通过以下的技术方案来实现:
本发明包括以下步骤:
S10获取科技文献数据的机构名称以及字段特征,选取机构相关字段;
S20通过所述选取机构相关字段提取文献相关字段信息文本;
S30将多个所述信息文本构建word2vec词向量模型,并将机构名称聚类;
S40基于词向量模型和聚类结果对相似机构名称查找和提取集合;
S50所述集合采用Jaro相似度方法计算机构间相似度,得出最终机构规范结果。
进一步地,所述分析科技文献元数据中机构字段包括机构简称,机构全称,webofscience提供的增强组织机构名称,二级机构名称,机构内部Id机构地址等信息。本发明只对一级机构名称进行规范,不涉及二级机构名称,因此最终选取的机构相关字段包括机构简称、机构全称、机构所属系统、机构内部Id、机构地址字段。
进一步地,所述文献相关信息文本提取工作包括对文献相关字段的提取,以及对所提取字段信息的清洗和变换,以得到词向量训练文本集合textwv、清洗变换后机构名称集合listinst、清洗变换后机构名称和内部Id对应关系集合listinst-id。
进一步地,获取词向量训练文本集合textwv的方法包括:
1)对于科技文献数据集R中的每一篇文献Ri,根据标签信息提取文献标题;
2)对于每篇文献贡献集C中每一个贡献者Cj,判断其类型是否为作者,如果是则根据标签信息提取作者名称和作者对应机构编号;
3)根据机构编号,提取作者对应机构(包含机构简称、机构全称、机构所属系统)和机构对应地址编号;
4)根据地址编号,提取机构对应地址信息;
5)根据标签信息提取文献主题;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业科学院农业信息研究所,未经中国农业科学院农业信息研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010844347.X/2.html,转载请声明来源钻瓜专利网。