[发明专利]基于OCR和ASR的短视频推荐方法、装置及相关设备

说明书

本发明公开了基于OCR和ASR的短视频推荐方法、装置及相关设备。该方法对用户产生过行为数据的短视频的关键帧进行OCR识别，提取关键帧的视频文本，并对视频文本进行关键字提取，得到视频关键字；获取短视频的音频数据，通过ASR语音识别技术对音频数据进行语义识别，得到有断句的语音文本，并对语音文本进行关键字提取，得到音频关键字；对视频关键字和音频关键字进行合并，得到合并文本，并通过预置的SmoothNLP模型对合并文本进行关键词提取，得到关键新词；对关键新词进行过滤提取对应的标签数据，并根据标签数据对不同用户进行聚类；对聚类后的每一类别用户，将对应的关键新词输入预训练的LightGBM模型进行视频推荐，得到推荐视频。该方法提升用户的使用体验感。

技术领域

本发明涉及视频推荐领域，尤其涉及一种基于OCR和ASR的短视频推荐方法、装置及相关设备。

背景技术

随着物联网行业的快速发展，物联网内容的传播方式也逐渐变得多样化，播放时间段内容丰富的短视频也逐渐成为物联网内容的热门传播方式之一。由于短视频更新快、流量大，用户通过碎片化的时间浏览，是用户每日通过APP获取信息的重要通道，现有的短视频搜索推荐方法无法有效提高用户的使用体验感，用户获取信息的有效程度和新鲜程度较差。

发明内容

本发明实施例提供了一种基于OCR和ASR的短视频推荐方法、装置及相关设备，旨在解决现有技术中的短视频推荐方法用户的使用体验感较差的问题。

第一方面，本发明实施例提供了一种基于OCR和ASR的短视频推荐方法，其包括：

对用户产生过行为数据的短视频的关键帧进行OCR识别，得到所述关键帧的视频文本，并基于预训练的TFIDF模型对所述视频文本进行关键字提取，得到视频关键字；

获取所述短视频的音频数据，通过ASR语音识别技术对所述音频数据进行语义识别，得到有断句的语音文本，并通过所述TFIDF模型对所述语音文本进行关键字提取，得到音频关键字；

对所述视频关键字和音频关键字进行合并，得到合并文本，并通过预置的SmoothNLP模型对所述合并文本进行关键词提取，得到关键新词；

对所述关键新词进行过滤提取对应的标签数据，并根据所述标签数据对不同用户进行聚类；

对聚类后的每一类别用户，将对应的所述关键新词输入预训练的LightGBM模型进行视频推荐，得到推荐视频。

第二方面，本发明实施例提供了一种基于OCR和ASR的短视频推荐装置，其包括：

视频关键字提取模块，用于对用户产生过行为数据的短视频的关键帧进行OCR识别，得到所述关键帧的视频文本，并基于预训练的TFIDF模型对所述视频文本进行关键字提取，得到视频关键字；

音频关键字提取模块，用于获取所述短视频的音频数据，通过ASR语音识别技术对所述音频数据进行语义识别，得到有断句的语音文本，并通过所述TFIDF模型对所述语音文本进行关键字提取，得到音频关键字；

新词提取模块，用于对所述视频关键字和音频关键字进行合并，得到合并文本，并通过预置的SmoothNLP模型对所述合并文本进行关键词提取，得到关键新词；

聚类模块，用于对所述关键新词进行过滤提取对应的标签数据，并根据所述标签数据对不同用户进行聚类；

推荐模块，用于对聚类后的每一类别用户，将对应的所述关键新词输入预训练的LightGBM模型进行视频推荐，得到推荐视频。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于OCR和ASR的短视频推荐方法。