[发明专利]一种文本分类模型可解释性方法的性能评价方法及装置

权利要求书

1.一种文本分类模型可解释性方法的性能评价方法，其特征在于：其方法如下所述：

步骤一、采集分类标签的描述性词表：

描述性词表是通过爬虫方式，爬取百科网站上对文本分类模型分类的样本标签的定义性解释文本并进行分词；其中百科网站上以样本标签为关键字检索所得页面的第一自然段，通过去掉停用词、计算tf-idf值的文本处理方式提取文本中关键词，组成该标签对应的词表；

步骤二、提取待评价的可解释性方法所计算出的显著性特征，提取出的词，判断有多少是在词表中出现的，记这种词的数量为w_a；

显著性特征提取方法为：通过softmax操作将可解释性方法计算的显著性得分归一化，通过对比实验、统计方法，选择合适的阈值，将归一化后的得分高于阈值的单词作为可解释性方法所提取的显著性特征，显著性特征：是指待分类文本中，可以对模型的决策起到正向作用的词；

步骤三、对于每条样本数据，计算所属类别的描述性词表包含词的数量，记包含词的数量为w_t；

步骤四、通过下述公式计算单个样本覆盖率：

即计算样本中在词表中出现的词，有多少能被显著性特征提取方法提取到；

步骤五、计算数据集中所有样本覆盖率的平均值，以评价显著性特征提取方法的性能，可解释性方法的性能评价指标由平均覆盖率求得。

2.一种文本分类模型可解释性方法性能评价装置，其特征在于：包括有采集模块、存储模块、识别模块和计算模块，其中采集模块分别与存储模块和识别模块相连接，识别模块与计算模块相连接；

采集模块：用于采集文本分类模型所分类的样本标签的描述性词表，描述性词表，是通过爬虫方式，爬取百科网站上对文本分类模型分类的样本标签的定义性解释文本；通过分词、去掉停用词、计算tf-idf值的文本处理方式提取文本中关键词，组成该标签对应的词表；

存储模块：用于存储采集过的样本标签及对应的描述性词表；

识别模块：用于识别待分类样本中，有哪些词出现在描述性词表中，有哪些词被可解释性方法判别为显著性特征；

计算模块：用于计算平均覆盖率，所述覆盖率由下述公式求得：

即计算样本中在词表中出现的词，有多少能被显著性特征提取方法提取到，其中，w_a为权利要求1中“步骤二”的利用可解释性方法对样本进行显著性特征提取且在词表中出现的提取词的数量，w_t为权利要求1中“步骤三”的每条样本数据所属类别的描述性词表包含词的数量。