[发明专利]基于人脸和交互文本的目标对象行为预测方法及相关设备

权利要求书

1.一种基于人脸和交互文本的目标对象行为预测方法，其特征在于，包括下述步骤：

获取多个样本对象的历史交互文本和历史视频；

对所述历史交互文本进行处理得到对应的历史结构化数据，所述历史结构化数据包含所述样本对象的历史行为，从所述历史视频中提取人脸图片并处理，基于所述历史行为生成处理后的人脸图片的标签；

根据所述历史结构化数据对预设的第一预测模型进行训练，得到第一模型和第一模型输出值，并根据所述处理后的人脸图片和所述标签对预设的第二预测模型进行训练，得到第二模型和第二模型输出值；其中所述第一模型输出值和所述第二模型输出值分别为对应的模型输出所述历史行为的概率值；

根据所述第一模型输出值和所述第二模型输出值建立LR模型拟合所述历史行为，得到训练后的LR模型；

当获取到目标对象的实时交互文本和实时视频时，根据所述实时交互文本获取对应的实时结构化数据，并根据所述实时视频获取实时人脸图片并处理，将所述实时结构化数据输入所述第一模型，同时将处理后的所述实时人脸图片输入所述第二模型，将所述第一模型和所述第二模型的输出同时输入至所述训练后的LR模型，对所述目标对象的行为进行预测。

2.根据权利要求1所述的基于人脸和交互文本的目标对象行为预测方法，其特征在于，所述对所述历史交互文本进行处理得到对应的历史结构化数据包括：

对所述历史交互文本进行处理得到至少一条结构化数据，并在得到多条结构化数据时，将所述多条结构化数据进行合并处理，再对合并处理后的结构化数据进行数据处理得到历史行为，并将所述历史行为作为一个字段添加至合并处理后的结构化数据，生成所述历史结构化数据。

3.根据权利要求2所述的基于人脸和交互文本的目标对象行为预测方法，其特征在于，所述基于所述历史行为生成处理后的所述人脸图片的标签的步骤包括：

根据所述人脸图片对应的历史视频确定所关联的样本对象，再根据所述关联的样本对象从对应的历史结构化数据中读取相应的历史行为生成所述人脸图片的标签。

4.根据权利要求3所述的基于人脸和交互文本的目标对象行为预测方法，其特征在于，所述从所述历史视频中提取人脸图片并处理的步骤包括：

采用逐帧截取的方式从历史视频中截取的样本对象的人脸图片并添加时间戳，对按照所述时间戳对各所述人脸图片进行排序，计算相邻的人脸图片的相似度，基于得到相似度对截取的人脸图片进行筛选，得到若干待标记的人脸图片；对所述人脸图片进行人脸关键点检测，从所述人脸关键点中选取眼部关键点，基于所述眼部关键点计算两眼的中心坐标，再基于所述中心坐标结合所述眼部关键点旋转所述人脸图片使人脸对齐，得到处理后的人脸图片。

5.根据权利要求1至4任一项所述的基于人脸和交互文本的目标对象行为预测方法，其特征在于，在得到所述训练后的LR模型后，所述训练后的LR模型将输出所述第一模型输出值和所述第二模型输出值的权重；

在所述对所述目标对象的行为进行预测后，所述方法还包括：

使所述训练后的LR模型输出所述第一模型输出值和所述第二模型输出值的更新权重，基于所述更新权重获取预设信息，将预设信息发送至目标对象，以使目标对象根据所述预设信息进行新的实时文本交互和/或实时视频交互，通过获取新的实时交互文本和/或实时视频来更新所述目标对象的行为预测结果。

6.根据权利要求1至4任一项所述的基于人脸和交互文本的目标对象行为预测方法，其特征在于，在所述得到所述训练后的LR模型的步骤后，所述方法还包括：

记录已有的对象和新增对象的新的交互文本、视频以及行为，根据所述新交互文本、视频以及行为更新历史数据，将更新的历史数据处理成对应的数据格式后对所述第一模型、所述第二模型和所述训练后的LR模型进行训练优化。

7.根据权利要求1至4任一项所述的基于人脸和交互文本的目标对象行为预测方法，其特征在于，在所述获取多个样本对象的历史交互文本和历史视频的步骤中，所述方法还包括：

将从区块链中读取所述历史交互文本。