[发明专利]基于OCR和ASR的短视频推荐方法、装置及相关设备

权利要求书

1.一种基于OCR和ASR的短视频推荐方法，其特征在于，包括：

对用户产生过行为数据的短视频的关键帧进行OCR识别，得到所述关键帧的视频文本，并基于预训练的TFIDF模型对所述视频文本进行关键字提取，得到视频关键字；

获取所述短视频的音频数据，通过ASR语音识别技术对所述音频数据进行语义识别，得到有断句的语音文本，并通过所述TFIDF模型对所述语音文本进行关键字提取，得到音频关键字；

对所述视频关键字和音频关键字进行合并，得到合并文本，并通过预置的SmoothNLP模型对所述合并文本进行关键词提取，得到关键新词；

对所述关键新词进行过滤提取对应的标签数据，并根据所述标签数据对不同用户进行聚类；

对聚类后的每一类别用户，将对应的所述关键新词输入预训练的LightGBM模型进行视频推荐，得到推荐视频。

2.根据权利要求1所述的基于OCR和ASR的短视频推荐方法，其特征在于，所述对用户产生过行为数据的短视频的关键帧进行OCR识别，得到所述关键帧的视频文本之前，包括：

对所述短视频进行均匀抽帧处理，得到多张帧图像；

对所有帧图像进行相关性检测，得到每一张帧图像之间的相关性，保留相关性小的帧图像作为所述关键帧。

3.根据权利要求1所述的基于OCR和ASR的短视频推荐方法，其特征在于，所述通过预置的SmoothNLP模型对所述合并文本进行关键词提取，得到关键新词，包括：

计算所述合并文本中任意两个字符串的互信息，并根据所述互信息确定所述合并文本中每一候选词的平均互信息；

计算所述合并文本中每一候选词的信息熵，并基于所述信息熵和平均互信息确定每一候选词的候选词评分，以候选词评分高的候选词作为关键新词。

4.根据权利要求3所述的基于OCR和ASR的短视频推荐方法，其特征在于，所述计算所述合并文本中任意两个字符串的互信息，并根据所述互信息确定所述合并文本中每一候选词的平均互信息，包括：

按如下公式计算所述合并文本中任意两个字符串的互信息MI：

其中，s₁、s₂分别表示所述合并文本中的任意两个字符串，p表示概率函数，ln表示自然对数运算；

按如下公式计算所述合并文本中每一候选词的平均互信息AMI：

其中，W表示候选词，n表示候选词内字符串的数量。

5.根据权利要求4所述的基于OCR和ASR的短视频推荐方法，其特征在于，所述计算所述合并文本中每一候选词的信息熵，包括：

按如下公式计算所述信息熵L(W)：

其中，LE表示左邻熵，RE表示右邻熵，e表示自然底数。

6.根据权利要求5所述的基于OCR和ASR的短视频推荐方法，其特征在于，所述基于所述信息熵和平均互信息确定每一候选词的候选词评分，包括：

按如下公式计算所述候选词评分score：

score＝α·L(W)+β·AMI(W),

其中，α、β分别表示比例常数。

7.根据权利要求1所述的基于OCR和ASR的短视频推荐方法，其特征在于，所述对聚类后的每一类别用户，将对应的所述关键新词输入预训练的LightGBM模型进行视频推荐，得到推荐视频之后，还包括：

采用如下评估指标对所述推荐视频进行评估：

其中，γ表示1和2的常数，取1表示F₁，取2表示F₂，P表示准确率，R表示召回率。