[发明专利]一种在视频直播时混合使用虚拟真人的方法及其系统

权利要求书

1.一种在视频直播时混合使用虚拟真人的方法，其特征在于，包括如下步骤：

步骤1、问题库的建立

云端服务器为每个服务商设置一个问题库，问题库包括相关问题、答案视频以及A、B、C、D、E五级关键词及并列关键词，供识别用户问题时匹配命中之用；

演播人员事先到现场录制好直播内容中的涉及到的各种问题答案演播视频，服务商将其存放到云端服务器该服务商名下的题库中去，演播人员需穿戴与直播时相同着装打扮；

步骤2、现场直播

直播开播时，服务商可以选择直播模式，终端设备通过摄像头及麦克风采集某服务商演播人员现场的直播视频，传送至云端服务器，云端服务器将采集到的直播视频进行广播发布，发送到手机、平板电脑、智能电视等各种终端上去，供观众收看及与演播人员互动；

步骤3、虚拟真人直播

服务商也可以选择终止直播模式，切换至虚拟主播模式，云端服务器切换播放该服务商的录播视频，云端服务器将该视频发送至各种终端上去，供观众收看；

步骤4、虚拟真人互动

云端服务器在播放录播视频时，观众可以通过手机等终端向视频中的演播人员讲话提问，终端将观众的问题语音传送至云端服务器，云端服务器将问题语音传送至语音网关，语音网关将问题文字传回云端服务器；

步骤5、问题库数据匹配

云端服务器将问题文字作语义分析，将问题文字与该服务商题库中的问题五级关键词及并列关键词做匹配，若所有关键词完全匹配，则命中该问题，服务器选择该问题相对应的答案视频进行播放；

步骤6、问题库数据扩增

若该问题命中失败，则云端服务器将该问题传给服务商专用终端，服务器收录该问题文字存放进临时题库，供服务商补充题库答案时使用；

步骤7、问题库数据再匹配

同时，服务商收到终端上显示的问题文字时，及时或延时回复答案文字，并传送给云端服务器；云端服务器收到答案文字后，将文字传给语音网关转换成语音，云端服务器得到语音后，与服务商演播人员的原型视频进行合成，生成答案视频，再发给终端进行播放。

2.根据权利要求1所述的在视频直播时混合使用虚拟真人的方法及其系统，其特征在于，服务商也可以在虚拟主播暂停讲话或演示时从虚拟主播模式切换回直播模式，从而平滑无缝进行切换衔接，使得观众感觉不到真人与虚拟人之间的画面转换。

3.根据权利要求1所述的在视频直播时混合使用虚拟真人的方法及其系统，其特征在于，在步骤1问题库的建立中，具体包括如下步骤：

步骤11、构建问题文档集合，其中，表示第i个问题文档，视频回答集合，其中，表示第i个视频回答，并在储存路径上建立映射关系，即;

步骤12、问题文档中的句子分词处理并去除停用词和噪声词，得到有词语组成的候选关键词库，,表示第i个候选关键词；

步骤13、通过TextRank模型构件候选关键词的有向图，其中，由点集合V为候选关键词库和边集合E组成,E是V×V的子集，采用共现关系构造人两个候选关键词之间的边，当且仅当对应候选关键词在长度为K的窗口中出现，K表示窗口大小，即最多共现K个词语，

步骤14、然后根据下列迭代公式进行计算，计算各候选关键词得分，直至收敛；并对节点权重进行倒序排序，从而得到最重要的5个词语，作为A、B、C、D、E五级关键词及并列关键词；迭代得分定义计算公式如下：

其中，表示候选关键词对应的得分，为阻尼系数,取值范围为0～1,代表从候选关键词的有向图中某一特定点指向其他任意点的概率，、表示第i、j个候选关键词,、分别表示和之间的权重、表示和之间的权重;

步骤15、对每一个关键词并将生成特征值，所述特征值包括词频特征、词性特征、结构特征、依存关系特征，并进一步得出问题文档的领域特征、提问人信息特征和新颖性特征，趋势特征；

步骤16、通过根据对问题文档的领域特征、提问人信息特征和新颖性特征，趋势特征进行综合评价，对构建问题文档集合中个元素的顺序进行排序、分类。