[发明专利]一种基于实时情绪反馈的智能弹幕机器人

摘要

本发明公开了一种基于实时情绪反馈的智能弹幕机器人，其包括信息捕获模块、数据处理模块、弹幕生成模块和弹幕发布模块，信息捕获模块包括视频捕获单元和音频捕获单元，数据处理模块包括视频转码单元、音频转码单元，弹幕生成模块包括视频分析单元、语义分析单元、音频分析单元和弹幕生成单元。本发明相比较于之前的常规情感机器人以及情感聊天机器人，在整体的架构上有较大的不同，仅仅是将实时情绪作为一个要素进行输入，本发明可以在用户打开对应的网站观看视频直播时，自动捕获对应的直播内容，根据实时的视频、音频内容，产生对应的弹幕，从而能够针对音、视频信息以及主播的情绪进行实时反馈。

主权项

1.一种基于实时情绪反馈的智能弹幕机器人，其特征在于，包括信息捕获模块、数据处理模块、弹幕生成模块和弹幕发布模块，所述信息捕获模块包括视频捕获单元和音频捕获单元，所述数据处理模块包括视频转码单元、音频转码单元，所述弹幕生成模块包括视频分析单元、语义分析单元、音频分析单元和弹幕生成单元；所述视频捕获单元用于捕获目标视频的图像数据，并传输至视频转码单元；所述音频捕获单元用于捕获目标视频的音频数据，并传输至音频转码单元；所述视频转码单元用于将所述图像数据压缩至预定尺寸后，通过CNN对图像数据进行特征提取得到N:M的矩阵，对所述矩阵进行矩阵分解，并分别在列和行方向求取平均值，得到1:N和M:1的两个向量，并将所述两个向量传输至视频分析单元，其中，N和M为正整数；所述音频转码单元用于从所述音频数据中提取出语调信息和语速信息，同时对所述音频数据进行语音识别得到文字信息，并将所述语调信息和语速信息传输至音频分析单元，将所述文字信息传输至语义分析单元；所述视频分析单元用于将所述两个向量合并后，输入到seq2seq模型的ENCODER层中，产生对应的V向量，并将V向量传输至弹幕生成单元；所述音频分析单元用于将所述语调信息和语速信息与音频情感库进行对比，产生对应的情绪标签，将所述情绪标签输入到seq2seq模型的ENCODER层中，产生对应的S向量，并将S向量传输至弹幕生成单元；所述语义分析单元用于将所述文字信息输入seq2seq模型的ENCODER层中，产生对应的T向量，并将T向量传输至弹幕生成单元；所述弹幕生成单元用于将V向量，S向量和T向量分别输入到已经训练好的目标Seq2Seq模型中，产生对应的弹幕内容，并将所述弹幕内容传输至弹幕发布模块；所述弹幕发布模块用于将所述弹幕内容以弹幕的形式上传至所述目标视频对应的网站。