[发明专利]一种智能用户标签确定方法、终端设备及存储介质

说明书

本发明涉及一种智能用户标签确定方法、终端设备及存储介质，该方法包括以下步骤：根据确定用户标签所需的数据来源将用户标签分成简单标签和复杂标签，其中，简单标签只需要结构化数据，复杂标签信息同时存在多模态数据中；简单标签采用单一模态标签确定方法来确定，以及复杂标签采用深度学习算法确定方法来确定。本发明利用多模态数据之间的互补性，并剔除多模态数据间的冗余性，从而能够更准确、更全面确定用户标签和提高用户标签确定方法的泛化性能，更好地推广和应用。

技术领域

本发明涉及大数据处理领域，具体地涉及一种基于多模态数据的智能用户标签确定方法、终端设备及存储介质。

背景技术

近几年随着移动互联网、智能终端和云存储的迅猛发展，多样化的社交媒体网络应运而生。用户在不同的社交、媒体和各种政务平台留下了丰富的用户信息和海量的结构化与非结构化数据,尤其是非结构化数据，如文本信息，图像，视频和语音等数据，这些数据具有不同模态，且有非常高的真实性跟多样性，对用户标签的确定具有重要的意义。

用户标签指对某一类特定群体或对象的某项特征进行的抽象分类和概括，具有分类特征。基于确定的用户标签，有很多应用可以开展，商业方面如精准营销、产品效果评估和数据挖掘等，在社会治理方面如精准的侦查识别、人员分类和公共安全的风险预测等。因此用户标签确定的准确性显得非常重要。

目前针对用户标签的确定主要有两个办法：1.基于单一模态的数据来确定用户标签，如利用结构化的数据，采用机器学习来确定用户标签；2.基于多个单一模态的用户标签结果，人为或者专家法则进行标签结果的融合，最终确定用户标签。上述办法不足如下：方法1利用单一模态确定用户标签，对于简单的用户标签效果还行，如用户性别、年龄等标签；但对于稍微复杂标签，如用户兴趣爱好标签，社会治理中用户涉毒、涉黄等标签，并不能准确地刻画用户标签；面对如今海量的结构化跟非结构化数据，人为和专家法则的方法，具有人工投入量大且效率低，同时专家法则是基于先验知识，算法的准确率和泛化效果往往比较差。

发明内容

本发明旨在提供一种基于多模态数据的智能用户标签确定方法、终端设备及存储介质，以解决上述问题。为此，本发明采用的具体技术方案如下：

根据本发明的一方面，提供了一种智能用户标签确定方法，其包括以下步骤：

根据确定用户标签所需的数据来源将用户标签分成简单标签和复杂标签，其中，简单标签只需要结构化数据，复杂标签信息同时存在多模态数据中；

简单标签采用单一模态标签确定方法来确定，以及复杂标签采用深度学习算法确定方法来确定。

进一步地，所述单一模态标签确定方法为基于规则解析判断。

进一步地，复杂标签采用深度学习算法确定方法来确定的具体过程是，首先通过深度学习算法分别从所述多模态数据中提取标签特征信息，利用分类器确定标签，然后对从所述多模态数据确定的标签进行合并融合，从而确定用户标签，其中，所述多模态数据包括文本、图片、视频和音频数据。

进一步地，对于图片数据，其标签确定方法具体如下：

采用的深度神经网络算法包括依次连接的M层卷积层、池化层、全连接层和softmax层；

将图片img_src进行预处理得到N*N尺寸大小的图像img_t1；

img_t1输入到M层卷积层和池化层，输出标签特征向量特征向量为一个1×d的矩阵，l表示神经网络第l层；

全连接层，即标签分类器，每个全连接层的权重参数为d×n矩阵，其中，

n表示标签类别个数，全连接层的具体权重参数为偏置参数为将依次输入到标签分类器，得到标签分类结果：