[发明专利]一种从视频字幕中提取概念词的方法

摘要

本发明公开了一种从视频字幕中提取概念词的方法，其包括如下步骤：对字幕文本进行分词处理，并删除标点符号；对分词后的字幕文本进行停止词和词性标注；计算目标单词和相邻词的共现特征；计算目标单词和相邻词的语义相似度；对分词后的少量字幕文本进行概念词标记，作为训练集；根据所述训练集对预先建立的基于条件随机场的半监督学习框架进行训练，得到概念词预测模型，并获取所述概念词预测模型输出的字幕文本对应的概念词预测结果。基于本发明提供的提取概念词的方法，减轻了人工标注语料的工作量，提升了在MOOC视频字幕场景中提取概念词的准确性，并满足了实际需求。

主权项

1.一种从视频字幕中提取概念词的方法，其特征在于，包括如下步骤：s1.对字幕文本进行分词处理，并删除标点符号；s2.对分词后的字幕文本进行处理，获得基于条件随机场的半监督学习框架所需的若干个特征，将各个特征的组合转变成特征向量；其中，对分词后的字幕文本进行处理的过程如下：s2.1.对分词后的字幕文本进行停止词和词性标注；s2.2.根据分词后的字幕文本计算目标单词和相邻词的共现特征；s2.3.根据分词后的字幕文本计算目标单词和相邻词的语义相似度；s2.4.对分词后的部分字幕文本进行概念词标记；其中，有概念词标记的字幕文本加入已标记样本集作为训练集，没有概念词标记的字幕文本加入未标记样本集；s3.根据训练集对基于条件随机场的半监督学习框架进行训练，得到概念词预测模型，并获取所述概念词预测模型输出的字幕文本对应的概念词预测结果；其中，基于条件随机场的半监督学习框架进行训练的具体过程如下：s3.1.使用训练集对条件随机场模型进行训练，得到初始的概念词预测模型；s3.2.计算未标记样本集中的未标记样本和训练集的相似度；选取和训练集最相似的一组未标记样本，然后将该组未标记样本通过概念词预测模型转变为已标记样本后，添加到训练集中，作为更新后的训练集；s3.3.利用更新后的训练集对条件随机场算法进行训练，得到更新后的概念词预测模型；s3.4.重复执行步骤s3.2和步骤s3.3，对模型进行迭代训练，直到所有字幕文本均被标记，并得到最终的概念词预测模型。