[发明专利]一种基于大数据的金融信息负面主体判定分类方法

说明书

本发明涉及自然语言处理，人工智能领域，具体涉及一种基于大数据的金融信息负面主体判定分类方法，该方法包括：获取金融文本数据，对金融文本数据进行预处理；将预处理后的金融文本和对应的实体列表转换成单实体金融文本的输入样本；将输入样本输入到训练好的BERT模型中进行单词编码；将编码后的数据输入到训练好的联合模型中进行对应分类；根据分类结果判断当前金融行情；本发明通过将金融文本和其对应的金融实体进行单实体+金融文本输入文本的转换，构建联合模型，同时结合了负面信息判定和负面主体判定之间的相互关联性，避免了流水线模型的缺点，提高了识别准确率。

技术领域

本发明涉及自然语言处理，人工智能领域，具体涉及一种基于大数据的金融信息负面主体判定分类方法。

背景技术

随着互联网的飞速进步和全球金融的快速发展，金融信息呈现爆炸式增长。如何从海量的金融文本中快速准确地挖掘出关键信息，成为投资者和决策者重点考虑的问题之一，而关注金融信息负面及主体判定，在风控和舆情分析等领域有很大现实意义。

金融信息负面及主体判定包含负面信息判定和负面主体判定，负面信息判定指判定金融文本是否包含金融负面信息，负面主体判定指在包含金融负面信息的金融文本中涉及到哪些金融实体。

目前，现有技术中很少关注同时对金融信息负面及主体判定，并且一般的金融信息负面及主体判定方法主要采取流水线模型(pipeline)，即在给定的金融文本和对应的实体列表下，先使用负面信息判定模型进行负面信息的判定，最后使用负面信息判定模型的结果作为负面主体判定模型的输入，进行负面主体的判定，负面主体判定模型的输入完全依赖于负面信息判定模型的输出。因此，这种流水线模型容易产生级联错误，并且也忽略了负面信息判定和负面主体判定之间的相互影响，导致准确率不高。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于大数据的金融信息负面主体判定分类方法，该方法包括：获取金融文本数据，对金融文本数据进行预处理；将预处理后的金融文本和对应的实体列表转换成单实体金融文本的输入样本；将输入样本输入到BERT模型中进行单词编码；将编码后的数据输入到训练好的联合模型中进行对应分类；根据分类结果判断当前金融行情。

优选的，对金融文本数据进行预处理的过程包括：将金融文本数据输入到TF-IDF模型中进行向量化表示，随机选取N条文本作为训练集的初始样本；计算初始样本和原始数据集中的其他样本的余弦相似度；设置阈值，判断余弦相似度与设置的阈值大小；若样本的余弦相似度大于设置的阈值，则将该样本加入到训练集S中，其他的样本数据作为验证集。

优选的，将预处理后的金融文本和对应的实体列表转换成单实体金融文本的输入样本的过程包括：对于每个金融实体，截取金融实体在金融文本首次出现的上下文作为单实体金融文本格式的输入样本X；其中每条金融文本的输入样本数为N，即该金融文本中已知金融实体的个数为N；输入样本X为：

X＝{e₁,e₂,…,e_m,x₁,x₂,…x_n}

优选的，通过BERT模型对输入样本进行编码过程为：

步骤1：将输入样本X的数据格式转换为X^*，其中X^*的表达式为：

X^*＝{cls,e₁,e₂,…,e_m,seq,x₁,x₂,…x_n}

其中，e_i表示实体位置i的字，m表示实体的字个数，x_i表示金融文本位置i的字，n表示金融文本的长度，cls表示句子标识，seq表示金融实体与文本分隔符；