[发明专利]视频处理方法、装置、终端设备及存储介质

说明书

本申请公开了一种视频处理方法、装置、终端设备及存储介质，该方法包括：获取用户输入的交互信息；对交互信息进行识别，获取与交互信息对应的特定音频信息；将特定音频信息输入至第一机器学习模型，获得与特定音频信息对应的面部特征点；将面部特征点输入至第二机器学习模型，获得与面部特征点对应的模拟人脸图像；将预设视频中的预设人脸图像替换为模拟人脸图像，并获得替换人脸图像后的包含模拟人脸图像的答复视频；输出针对交互信息的答复视频，答复视频中包含特定音频信息。本申请可以在用户与机器人对话时，针对用户的对话内容，提供模拟真人的答复视频，实现多模态交互，可适用于企业级应用，提供客服型机器人，优化客服体验。

技术领域

本申请涉及终端设备技术领域，更具体地，涉及一种视频处理方法、装置、终端设备及存储介质。

背景技术

目前，手机等移动终端设备的普及率越来越高，智能手机已成为人们出行的必备随身物品。随着移动互联网发展迅速，移动终端上出现了各种各样的应用程序，这其中许多应用程序可以为用户提供客服功能，使得用户能够通过客服来进行产品咨询等业务。

一般而言，在移动端应用程序内，企业为用户提供的客服功能通常包含机器人客服和人工客服两部分。面对一些简单或常见的问题，通常可以由机器人客服对用户的问题进行回答，而对一些复杂或特殊的问题，则可通过转接人工客服来进行处理。

随着人工智能相关技术的发展，机器人客服的功能越来越强，能够适用的场景也越来越多，大大提高了客服效率，节省了人工资源。然而，目前的机器人客服大多为通过文字的方式与用户对话，用户体验较为单一。

发明内容

鉴于上述问题，本申请提出了一种视频处理方法、装置、终端设备及存储介质，可实现多模态交互，提升用户体验。

第一方面，本申请实施例提供了一种视频处理方法，该方法包括：获取用户输入的交互信息；对交互信息进行识别，获取与交互信息对应的特定音频信息；将特定音频信息输入至第一机器学习模型，获得与特定音频信息对应的面部特征点；将面部特征点输入至第二机器学习模型，获得与面部特征点对应的模拟人脸图像，第二机器学习模型为生成对抗网络模型，模拟人脸图像为二维人脸图像；将预设视频中的预设人脸图像替换为模拟人脸图像，并获得替换人脸图像后的包含模拟人脸图像的答复视频，预设人脸图像为二维人脸图像，将预设视频中的预设人脸图像替换为模拟人脸图像为基于二维图像处理的图像替换；输出针对交互信息的答复视频，答复视频中包含特定音频信息。

进一步的，所述交互信息包括语音信息、文本信息、图像信息中的至少一种，所述对所述交互信息进行识别，获取与所述交互信息对应的特定音频信息，包括：对所述交互信息进行识别，获取与所述交互信息对应的交互文本；在问答库中查询并获取与所述交互文本对应的答复文本；合成与所述答复文本对应的特定音频信息。

进一步的，所述视频处理方法还包括：获取第一训练样本集，所述第一训练样本集包括从第一预训练视频中抽取的人脸图像的面部特征点以及与所述面部特征点对应的音频；将所述第一训练样本集输入所述第一机器学习模型，对所述第一机器学习模型进行训练；获取第二训练样本集，所述第二训练样本集包括从第二预训练视频中抽取的人脸图像以及与所述人脸图像对应的面部特征点；将所述第二训练样本集输入所述第二机器学习模型，对所述第二机器学习模型进行训练。

进一步的，所述第二预训练视频与所述预设视频中的人脸图像为同一人的人脸图像。

进一步的，所述第一预训练视频与所述第二预训练视频中的人脸图像为同一人或不同人的人脸图像。

进一步的，所述将预设视频中的预设人脸图像替换为所述模拟人脸图像，包括：在预设视频中确定与所述模拟人脸图像对应的图像替换区域，所述图像替换区域为所述预设视频中的预设人脸图像的局部区域或全部区域；将所述模拟人脸图像覆盖至所述图像替换区域。

进一步的，所述面部特征点包括唇形特征点、面部轮廓特征点以及人脸细节特征点中的至少一种。