[发明专利]一种基于NER识别情景喜剧对话幽默度的方法

说明书

本发明公开了一种基于NER识别情景喜剧对话幽默度的方法，所述方法包括以下步骤：步骤一：数据采集并进行数据预处理，形成待识别文本信息；步骤二：RoBERTa预训练模型构建二分类模型；步骤三：RoBERTa预训练模型构建NER模型，将待识别文本信息中句子的每个字符按照命名实体标注的方法进行标注，其中属于幽默范畴的字符标为1，不属于幽默范畴的字符标为0；步骤四：采用九折交叉验证的方式，将句子中所有字词中被标注为1的字符所占比例与预设阈值进行对比，若所占比例大于预设阈值则判定该句子是幽默，否则判定为非幽默。本发明能够智能高效的对情景喜剧对话进行幽默度识别，容错率高。

技术领域

本发明属于语言处理和人工智能领域，尤其涉及一种基于NER识别情景喜剧对话幽默度的方法。

背景技术

幽默是一种特殊的语言表达方式，在日常生活中扮演着化解尴尬、活跃气氛、促进交流的重要角色。而幽默计算是近年来自然语言处理领域的新兴热点之一，其主要研究如何基于计算机技术对幽默进行识别、分类与生成，具有重要的理论和应用价值。

幽默的产生往往依赖于上下文信息，如对话中的幽默通常需要一个铺垫过程，相比于单句幽默，这类幽默的识别更加复杂且困难。在情景喜剧中，部分话语承担了引人发笑的作用，通常称其为笑点（英文为Punchline）。现有的情景喜剧对话幽默度识别主要是将问题定义为一个二分类任务，利用原始二分类标注数据进行模型训练。然而在情景喜剧中，单纯的以对话中的句子为个体做文本分类效果往往很差，由于很多幽默标签的句子是在对话语境下的，使得传统二分类步骤不能全面构建文本特征。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种基于NER识别情景喜剧对话幽默度的方法。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于NER识别情景喜剧对话幽默度的方法，所述方法包括以下步骤：

步骤一：数据采集并进行数据预处理，形成待识别文本信息；

步骤二：RoBERTa预训练模型构建二分类模型；

步骤三：RoBERTa预训练模型构建NER模型，将待识别文本信息中句子的每个字符按照命名实体标注的方法进行标注，其中属于幽默范畴的字符标为1，不属于幽默范畴的字符标为0；

步骤四：采用九折交叉验证的方式，将句子中所有字词中被标注为1的字符所占比例与预设阈值进行对比，若所占比例大于预设阈值则判定该句子是幽默，否则判定为非幽默。

进一步地，所述预设阈值为0.3。

进一步地，所述步骤一具体包括：从情景喜剧对话中进行文本信息采集，并对文本信息中非常规字符和不可识别字符进行删除。

进一步地，所述步骤三中幽默范畴的分析采用注意力机制进行识别。

进一步地，所述RoBERTa预训练模型基于BERT预训练模型，对原BERT预训练模型的学习率峰值进行调整，将Adam算法中的参数β2从0.999改为0.98。

进一步地，所述步骤三中幽默范畴的分析具体包括：将待识别文本信息中句子的每个字符与预设幽默字符数据库进行比对，若关联度超过80%，则定义为幽默范畴，否则相反。

本发明的有益效果是：

本发明通过利用RoBERTa预训练模型依次构建二分类模型、NER模型，对语句进行标注，并利用九折交叉验证的方式判断句子中标签为1的字符数量占总字符比例，从而判断该语句是否幽默，能够智能高效的对情景喜剧对话进行幽默度识别，容错率高。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的流程示意图。

具体实施方式