[发明专利]一种研报文本实体名词自动识别方法

摘要

本发明公开了一种研报文本实体名词自动识别方法，首先根据金融专业词典对研报进行分词，以历史研报中出现的所有词汇构建词库。对于每个研报文本，计算其TF‑IDF特征向量；基于决策树方法将研报文本划分至不同的实体名词类别。本发明可自动识别研报文本所包含的实体名词，从文本数据挖掘的角度分析研报的主题类别；在智能投顾和智能投研等金融科技领域可发挥重要作用，如在大类资产配置中可自动筛选宏观指标以提升系统决策效率等。

主权项

1.一种研报文本实体名词自动识别方法，其特征在于，包括以下步骤：(1)数据预处理，具体包括以下子步骤：(1.1)依次读取研报文本语料库Corp的每个文本d_i；(1.2)读取停用词典，删除文本d_i中所有停用词；(1.3)读取金融专业词典，对文本d_i进行分词，生成分词文件p_i；(1.4)初始化词库dict，将p_i的所有词汇存入dict；(1.5)依次统计词库dict中每个词汇的词频f；(1.6)根据词频f对dict的所有词汇排序，删除低词频词汇，更新词库dict；(1.7)依次读取分词文件p_i，通过匹配词库dict与p_i过滤p_i的词汇，保留高频词汇，生成新的分词文件p’_i；(2)文本特征抽取，具体包括以下子步骤：(2.1)依次读取分词文件p’_i，初始化特征向量T_i；(2.2)统计p’_i中每个词汇w_j的词频tf_j；(2.3)统计研报文本数据库中包含词汇w_j的所有文本数目df_j；(2.4)计算w_j在p’_i的tf‑idf分值s_ij，并加入到特征向量T_i中；(3)实体名词识别，具体包括以下子步骤：(3.1)初始化训练数据特征矩阵Ψ和标签向量Φ；(3.2)根据d_i包含的所有实体名词打标签y_i，并将d_i的特征向量T_i及标签y_i分别加入特征矩阵Ψ和标签向量Φ；(3.3)使用Ψ和Φ训练Cart树模型M；(3.4)对于待识别的研报文本d’，根据步骤(1)～(2)抽取特征向量T’，输入模型M，经模型计算输出类别标签y’；(3.5)根据步骤(3.2)将类别标签y’转译为具体实体名词并输出。