[发明专利]一种内容风险控制方法和装置

权利要求书

1.一种内容风险控制方法，其特征在于，所述方法包括：

监控设备之间的消息；

基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；

若基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；

获取发送存在风险内容的消息的用户在预设时间内发送的消息；并基于预设分析模型对获取的消息进行行为特征分析；

若分析确定存在风险行为，则对存在风险行为的用户发送的消息进行拦截。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

若基于所述预设识别模型识别出所述消息中的风险内容，且基于所述预设样本库未识别出所述消息中的风险内容，则将基于所述预设识别模型识别出的风险内容添加到所述预设样本库中，其中，所述风险内容包括图片，和/或文字。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

周期获取存在风险内容的消息中的图片，以及存在风险行为的用户发送的图片；

对获取的图片进行光学字符检测，并将获取的图片与预设样本库中的图片进行相似度匹配；

若检测到所述图片中包含设置的风险文字，和/或所述图片与所述预设样本库中的图片相似，则将所述图片添加到所述预设样本库中。

4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

周期获取设备之间的确定为风险消息之外的消息，基于预设分类模型确定所述消息中的风险消息；其中，所述风险消息包括确定存在风险内容的消息，以及存在风险行为的用户发送的消息；

基于预设分析模型对发送所述风险消息的用户在当前周期所发送的消息进行行为特征分析；

若分析确定存在风险行为，则对存在风险行为的用户在当前周期之后发送的消息进行拦截。

5.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：

获取当前周期中基于预设分类模型确定的风险消息中的图片，以及存在风险行为的用户发送的图片；

对当前周期获取的图片进行光学字符检测，并将获取的图片与预设样本库中的图片进行相似度匹配；

若检测到所述图片中包含设置的风险文字，和/或所述图片与所述预设样本库中的图片相似，则将所述图片添加到所述预设样本库中。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法进一步包括：

基于所述预设样本库周期训练所述预设识别模型，所述预设识别模型基于深度学习算法建立。

7.一种内容风险控制装置，其特征在于，所述装置包括：监控单元、识别单元、拦截单元、获取单元、分析单元；

所述监控单元，用于监控设备之间的消息；

所述识别单元，用于基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；

所述拦截单元，用于若所述识别单元基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；若所述分析单元分析确定存在风险行为，则对所述存在风险行为的用户发送的消息进行拦截；

所述获取单元，用于获取发送所述识别单元识别出风险内容的消息的用户在预设时间内发送的消息；

所述分析单元，用于基于预设分析模型对所述获取单元获取的消息进行行为特征分析。

8.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：

所述获取单元，进一步用于周期获取设备之间的确定为风险消息之外的消息；其中，所述风险消息包括确定存在风险内容的消息，以及存在风险行为的用户发送的消息；

所述识别单元，进一步用于基于预设分类模型确定所述获取单元获取的消息中的风险消息；

所述分析单元，进一步用于基于预设分析模型对发送所述风险消息的用户在当前周期所发送的消息进行行为特征分析；

所述拦截单元，进一步用于若所述分析单元分析确定存在风险行为，则对存在风险行为的用户在当前周期之后发送的消息进行拦截。