[发明专利]一种病理文本分类方法

说明书

本发明提供一种病理文本分类方法，包括以下步骤：S1：根据预设的数量阈值将用于训练的第一病理文本数据集的标签划分为密集标签和稀疏标签，对应组成大类标签集合和小类标签集合；S2：利用第一病理文本数据集训练预构建的密集标签预测网络和稀疏标签预测网络，得到训练好的密集标签预测网络和稀疏标签预测网络；S3：将待分类的第二病理文本数据集分别输入训练好的密集标签预测网络和稀疏标签预测网络，对应得到第一预测结果和第二预测结果；S4：将密集标签的预测结果和稀疏标签的预测结果进行融合，得到最终预测结果作为分类结果。本发明提供一种病理文本分类方法，解决了目前对于样本数据量少的病理文本的分类效果较差的问题。

技术领域

本发明涉及文本分类的技术领域，更具体的，涉及一种病理文本分类方法。

背景技术

病理文本数据是通过病理诊断获取，涉及到多个环节，由于地区医院医生的差异性，再加上医学本身的特殊性，导致整体上病理文本数据不规范。病理诊断是由病理中心对送检的组织进行取材-包埋-制片后，通过观察染色的切片做出的。送检数据由临床医院录入，但各医院录入文字风格等都不是统一的，属于非结构化数据。病理文本数据，包括病人信息、医院科室、检查项目、送检部位、肉眼所见、诊断信息等，由于其共同特征：数据来源不同、相对不规范、长短不一、中英文结合、含有特殊含义、医学专有名词、语义信息弱(含有一定的语义信息)，导致对病理文本的多标签分类很难进行。

不同的病理发生概率不同，病理发生概率越高，样本量就越大，反之越少，因此医院病理中心所能得到的病理文本数据往往是不均衡的。目前较常见的是通过神经网络分类模型对病理文本进行分类，那些高发病症凭借样本量大的优势，其语义特征能够被充分学习到，往往能得到一个不错的分类效果。但是病理文本数据集中不可避免地会混入一些语义信息弱且样本数据量少的病理文本数据，这些数据的自身特征很难得到充分学习，就容易造成误判或者漏判，分类效果较差。

发明内容

本发明为克服目前对于样本数据量少的病理文本的分类效果较差的技术缺陷，提供一种病理文本分类方法。

为解决上述技术问题，本发明的技术方案如下：

一种病理文本分类方法，包括以下步骤：

S1：根据预设的数量阈值将用于训练的第一病理文本数据集的标签划分为密集标签和稀疏标签，对应组成大类标签集合和小类标签集合；

S2：利用第一病理文本数据集训练预构建的密集标签预测网络和稀疏标签预测网络，得到训练好的密集标签预测网络和稀疏标签预测网络；

S3：将待分类的第二病理文本数据集分别输入训练好的密集标签预测网络和稀疏标签预测网络，对应得到第一预测结果和第二预测结果；

第一预测结果包括密集标签的预测结果和小类标签集合的预测结果；

第二预测结果包括稀疏标签的预测结果和大类标签集合的预测结果；

S4：将密集标签的预测结果和稀疏标签的预测结果进行融合，得到最终预测结果作为分类结果。

上述方案中，通过将标签划分为大类标签集合和小类标签集合，并利用密集标签预测网络和稀疏标签预测网络分别对病理文本进行分类预测，从而将样本数据少的问题转移到稀疏标签预测网络中解决，最后根据两个预测网络的预测结果得到准确的最终预测结果，提升了病理文本的分类效果。

优选的，步骤S1中，统计第一病理文本数据集中标签的数量以及各个标签所对应的样本数量，将样本数量少于数量阈值的标签划分为稀疏标签，组成小类标签集合，将样本数量不少于数量阈值的标签划分为密集标签，组成大类标签集合。

优选的，所述密集标签预测网络包括第一预训练语言模型、注意力模块、卷积网络模块和第一多层感知机；