[发明专利]模型置信度分析方法、装置、电子设备及计算机存储介质

说明书

本发明涉及性能测试技术，揭露了一种模型置信度分析方法，包括：获取标准文本和与所述标准文本对应的标准转换结果；利用预设的文本转换模型对所述标准文本进行文本转换，得到预测转换结果；根据所述预测转换结果生成所述标准文本的预测结果指标；根据所述预测转换结果与所述标准转换结果生成对比结果指标；利用所述预测结果指标与所述对比结果指标构建模型置信度指标，利用所述模型置信度指标对所述文本转换模型进行置信度分析。此外，本发明还涉及区块链技术，所述标准文本和所述标准转换结果可存储于区块链的节点。本发明还提出一种模型置信度分析装置、设备以及存储介质。本发明可以解决对模型输出结果进行置信度评价的精确度不高的问题。

技术领域

本发明涉及性能测试技术领域，尤其涉及一种模型置信度分析方法、装置、电子设备及计算机可读存储介质。

背景技术

自然语言处理领域中，需要利用智能模型去完成多种任务，例如，信息抽取、事件分类、话题抽取、命名实体识别等。为了提高智能模型的精确度及其它性能，需要对智能模型的输出结果进行置信度评价。

现有的智能模型的置信度评价方法多为基于大数据的置信度评价方法，即基于大量的智能模型输出设计整体输出指标，以实现根据整体输出指标对智能模型的参数进行调节。但该方法中，由于指标是基于大量输出数据整体设计而成，因此无法实现对单个智能模型输出的置信度进行评价，导致对智能模型输出的置信度评价的精确度不高。

发明内容

本发明提供一种模型置信度分析方法、装置及计算机可读存储介质，其主要目的在于解决对模型输出结果进行置信度评价的精确度不高的问题。

为实现上述目的，本发明提供的一种模型置信度分析方法，包括：

获取标准文本和与所述标准文本对应的标准转换结果；

利用预设的文本转换模型对所述标准文本进行文本转换，得到预测转换结果；

根据所述预测转换结果生成所述标准文本的预测结果指标；

根据所述预测转换结果与所述标准转换结果生成对比结果指标；

利用所述预测结果指标与所述对比结果指标构建模型置信度指标，利用所述模型置信度指标对所述文本转换模型进行置信度分析。

可选地，所述利用预设的文本转换模型对所述标准文本进行文本转换，得到预测转换结果，包括：

利用所述卷积神经网络的卷积层对所述标准文本进行卷积，得到卷积文本；

对所述卷积文本进行池化，得到特征文本；

对所述特征文本进行全连接处理，得到全连接文本；

利用激活函数对所述全连接文本进行概率分类，得到预测转换结果。

可选地，所述根据所述预测转换结果生成所述标准文本的预测结果指标，包括：

对所述预测转换结果进行语句结构标注，得到标注结果；

根据所述标注结果进行计算，得到文本语法结构指标；

对所述预测转换结果进行词向量转换，得到结果向量；

利用所述结果向量计算所述文本语义指标；

将所述文本语法结构指标和所述文本语义指标汇集为预测结果指标。

可选地，所述对所述预测转换结果进行词向量转换，得到结果向量，包括：

对所述预测转换结果进行文本分词处理，得到多个预测文本分词；

对所述多个预测文本分词进行词向量编码，得到每个预测文本分词对应的结果向量。