[发明专利]一种用于社交网络图片隐私风险检测与预警的方法及系统

权利要求书

1.一种用于社交网络图片隐私风险检测与预警的方法，其特征在于，包括：

步骤一：利用目标检测框架提取图片中关键元素并获得关键元素的信息；

步骤二：收集图片隐私与否的数据集，对数据集中的每张图片进行步骤一的操作，然后在整个数据集上进行统计，得出在各类关键元素与隐私、公开图片的关联度，并依此来构建知识图谱；

步骤三：利用神经网络提取图片整体、图片关键元素的特征，并利用步骤二中的知识图谱来构建图神经网络，用于融合图片整体、图片关键元素的特征，并得到图片的最终表达；以及

步骤四：基于步骤三中图片的最终表达，利用神经网络预测图片的隐私风险；

所述步骤二中的数据集可以采用在保护图片隐私的社交平台上收集的图片数据集或者采用现有被标注隐私与否的图片数据集；

所述在保护图片隐私的社交平台上收集的图片数据集以平台用户是否认为图片会泄露隐私的多数标注为判断依据，将图片分为隐私图片与公开图片两类；

所述步骤二中的各类关键元素与隐私、公开图片的关联度用各种关键元素分别在隐私、公开图片中出现的频次来表征；

所述步骤二中的知识图谱包含两类节点：

类别节点，分别代表隐私与公开两个类别；以及

关键元素节点，数量等于关键元素的种类；

其中，在两类节点之间建立连边，边的权重为关键元素与隐私/公开类别的关联度；

所述步骤三具体包括：

对一张图片，利用神经网络提取图片整体的特征，作为第一类的两个节点特征的初始化，对图片中包含的某类关键元素，裁切对应区域的特征，作为对应第二类节点的初始化；

所有节点初始化后，采用图神经网络融合类别节点包含的全局信息，与关键元素节点包含的局部信息；

对融合后的特征，为不同关键元素节点的特征赋予不同的权重，与融合后的全局特征拼接成图片的最终表达。

2.如权利要求1所述的用于社交网络图片隐私风险检测与预警的方法，其特征在于，所述步骤一中的目标检测框架可以采用Faster-RCNN或者MASK-RCNN。

3.一种用于社交网络图片隐私风险检测与预警的系统，其特征在于，包括：

图片元素提取模块：利用目标检测框架提取图片中关键元素并获得关键元素的信息；

知识图谱构建模块：收集图片隐私与否的数据集，对数据集中的每张图片进行图片元素提取模块中的操作，然后在整个数据集上进行统计，得出在各类关键元素与隐私、公开图片的关联度，并依此来构建知识图谱；

图片信息融合模块：利用神经网络提取图片整体、图片关键元素的特征，并利用知识图谱构建模块中的知识图谱来构建图神经网络，用于融合图片整体、图片关键元素的特征，并得到图片的最终表达；以及

隐私检测预警模块：基于图片信息融合模块中图片的最终表达，利用神经网络预测图片的隐私风险并进行预警；

所述图片信息融合模块中的数据集可以采用在保护图片隐私的社交平台上收集的图片数据集或者采用现有被标注隐私与否的图片数据集；

所述在保护图片隐私的社交平台上收集的图片数据集以平台用户是否认为图片会泄露隐私的多数标注为判断依据，将图片分为隐私图片与公开图片两类；

所述知识图谱构建模块中的各类关键元素与隐私、公开图片的关联度用各种关键元素分别在隐私、公开图片中出现的频次来表征；

所述知识图谱构建模块中的知识图谱包含两类节点：

类别节点，分别代表隐私与公开两个类别；以及

关键元素节点，数量等于关键元素的种类；

其中，在两类节点之间建立连边，边的权重为关键元素与隐私/公开类别的关联度；

所述图片信息融合模块中的具体操作包括：

对一张图片，利用神经网络提取图片整体的特征，作为第一类的两个节点特征的初始化，对图片中包含的某类关键元素，裁切对应区域的特征，作为对应第二类节点的初始化；

所有节点初始化后，采用图神经网络融合类别节点包含的全局信息，与关键元素节点包含的局部信息；

对融合后的特征，为不同关键元素节点的特征赋予不同的权重，与融合后的全局特征拼接成图片的最终表达。

4.如权利要求3所述的用于社交网络图片隐私风险检测与预警的系统，其特征在于，所述图片元素提取模块中的目标检测框架可以采用Faster-RCNN或者MASK-RCNN。