[发明专利]一种文本分类模型可解释性方法的性能评价方法及装置

说明书

本发明公开了一种文本分类模型可解释性方法的性能评价方法及装置，其方法为：第一步、采集分类标签的描述性词表；第二步、通过可解释性方法对模型决策所依赖的显著性特征进行提取；第三步、计算可解释性方法所提取显著性特征的覆盖率，用以评估方法性能，评价装置包括有采集模块、存储模块、识别模块和计算模块，其中采集模块分别与存储模块和识别模块相连接，识别模块与计算模块相连接，有益效果：为不同可解释性方法的效果和性能提供了一种评价方法和标准。能够有效的对比不同可解释性方法的优劣提供量化指标，进而对可解释性方法进行性能上的改进提供效果上的参考。

技术领域

本发明涉及一种性能评价方法及装置，特别涉及一种文本分类模型可解释性方法的性能评价方法及装置。

背景技术

目前，随着深度学习在人工智能领域的不断应用，一些经典的自然语言处理问题已经被深度学习很好的解决，传统的自然语言处理方法在一定程度上已经被深度学习技术取代。然而，深度学习模型，作为一种黑盒模型，采用端到端的训练方法。使用者通常只需要设计好模型的结构，将有标签数据输入到模型中进行有监督的训练，在测试阶段将数据输入模型，模型返回一个结果。在此过程中，人们往往无法理解深度学习模型的决策流程和依据。因此无法真正的信任模型。

文本分类问题一直是自然语言处理领域最基础最常见的问题。随着深度学习在文本分类问题中的应用，许许多多的研究人员和从业者都发觉到打破深度学习模型“黑盒子”，探究其做出选择判断的原因十分重要。尤其是在一些安全敏感的任务中，深度学习模型通常作为一种黑盒模型，采用端到端的训练方法。在决策时，给模型输入样本，模型会返回一个决策结果。这种方式下，人们无法得知模型决策的依据，更无法验证决策的可靠性，这就会给任务带来严重的威胁。因此，深度学习模型的可解释性及可解释性方法成为了该领域的一大研究热点。

虽然模型可解释性问题一直出现在各大学术会议和讨论中，但是可解释性的研究是十分困难的。学术界目前缺乏对模型可解释性的明确定义，因此也没有特定的模型解释方法。通常情况下，人们通过获取模型对样本标记的显著性特征来理解模型的决策依据，基于此提出的方法也层出不穷。然而，目前缺少一种具有实际意义的性能评价方法，来判断一个可解释性方法的优劣，更无法对不同的可解释性方法进行对比。这一问题对可解释性方法的研究造成了巨大的困难。

发明内容

本发明的目的是为了解决目前缺少一种具有实际意义的性能评价方法，来判断一个可解释性方法的优劣，更无法对不同的可解释性方法进行对比的问题而提供的一种文本分类模型可解释性方法的性能评价方法及装置。

本发明提供的文本分类模型可解释性方法的性能评价方法，其方法如下所述：

步骤一、采集分类标签的描述性词表：

描述性词表是通过爬虫方式，爬取百科网站上对文本分类模型分类的样本标签的定义性解释文本并进行分词；其中百科网站上以样本标签为关键字检索所得页面的第一自然段，通过去掉停用词、计算tf-idf值的文本处理方式提取文本中关键词，组成该标签对应的词表；

步骤二、提取待评价的可解释性方法所计算出的显著性特征。提取出的词，判断有多少是在词表中出现的，记这种词的数量为w_a；

显著性特征提取方法为：通过softmax操作将可解释性方法计算的显著性得分归一化，通过对比实验、统计方法，选择合适的阈值，将归一化后的得分高于阈值的单词作为可解释性方法所提取的显著性特征，显著性特征：是指待分类文本中，可以对模型的决策起到正向作用的词；

步骤三、对于每条样本数据，计算所属类别的描述性词表包含词的数量，记包含词的数量为w_t；

步骤四、通过下述公式计算单个样本覆盖率：

即计算样本中在词表中出现的词，有多少能被显著性特征提取方法提取到；