[发明专利]一种建立关键词词库的方法和装置

说明书

技术领域

本发明涉及计算机管理技术领域，尤其涉及一种建立关键词词库的方法和装置。

背景技术

项目评审或咨询在科研活动中发挥着不可替代的作用，如何选择合适的专家及有关专业技术人员将直接影响到相关工作的质量，正确选择专家对于保证评审结果的公正、准确、合理是至关重要的，在项目评审或咨询中需要对科技项目进行量化分析。目前，对专家专业领域、科技项目进行学科分类和领域分类，需要对科技项目进行量化分析，其中的一个基础工作时建立项目关键词库。要收集大量的行业术语，以往的词库构建往往基于大量语料库并利用传统的中文分词程序分词，由于行业关键词具有很强的专业性，仅仅依赖普通的分词方法很难准确识别专业术语，当新的术语出现时也做不到及时动态更新。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种建立关键词词库的方法，对项目数据分词并获取项目关键词。

一种建立关键词词库的方法，包括：对项目信息进行解析，获取项目关键词；计算出所述项目关键词之间的语义相似度；根据所述项目关键词及所述语义相似度生成关键词词库，并且，当项目信息变化时，在线更新关键词库。

根据本发明的一个实施例，进一步的，统计关键词,得到n个关键词W₁,W₂,...,W_n；统计每两个关键词在所有记录里面同时出现的次数，构成关键词关联矩阵:

其中,m_i,j为关键词W_i和W_j在所有记录中同时出现的次数，而m_i,i为关键词W_i是自己对自己的关联且m_i,i＝0；关联矩阵M是主对角线全为0的稀疏对称矩阵；关键词W_i和W_j的语义相似度反映为关键词W_i出现时，关键词W_j出现的可能性，为条件概率；项目关键词之间的语义相似度

根据本发明的一个实施例，进一步的，根据预设的关键词分词规则对项目信息解析，获取项目关键词；所述项目信息包括：项目名称、项目说明。

根据本发明的一个实施例，进一步的，根据自定义字典对项目信息分词，自动筛选分词并获取关键词，并将关键词与电力行业专业词汇合并、整理，剔除冗余词组生成所述项目关键词。

本发明要解决的另一个技术问题是提供一种建立关键词词库的装置，对项目数据分词并获取项目关键词。

一种建立关键词词库的装置，包括：关键词提取单元，用于对项目信息进行解析，获取项目关键词；相似度计算单元，用于计算出所述项目关键词之间的语义相似度；词库生成单元，用于根据所述项目关键词及所述语义相似度生成关键词词库，并且，当项目信息变化时，在线更新关键词库。

根据本发明的一个实施例，进一步的，所述相似度计算单元统计关键词,得到n个关键词W₁,W₂,...,W_n；

所述相似度计算单元统计每两个关键词在所有记录里面同时出现的次数，构成关键词关联矩阵:

其中,m_i,j为关键词W_i和W_j在所有记录中同时出现的次数，而m_i,i为关键词W_i是自己对自己的关联且m_i,i＝0。关联矩阵M是主对角线全为0的稀疏对称矩阵；关键词W_i和W_j的语义相似度反映为关键词W_i出现时，关键词W_j出现的可能性，为条件概率。

所述相似度计算单元计算项目关键词之间的语义相似度

根据本发明的一个实施例，进一步的，所述关键词提取单元根据预设的关键词分词规则对项目信息解析，获取项目关键词；所述项目信息包括：项目名称、项目说明。

根据本发明的一个实施例，进一步的，所述关键词提取单元根据自定义字典对项目信息分词，自动筛选分词并获取关键词，并将关键词与电力行业专业词汇合并、整理，剔除冗余词组生成所述项目关键词。。

本发明的建立关键词词库的方法和装置，对项目数据自动筛选分词并获取项目关键词，能有效提取反应项目性质的关键词，剔除冗余词组，快速建立关键词库，并且在项目数据发生变化时能做到动态更新。

附图说明