[发明专利]变体文本检测方法、模型训练方法、装置及电子设备有效
申请号: | 202110860112.4 | 申请日: | 2021-07-28 |
公开(公告)号: | CN113591464B | 公开(公告)日: | 2022-06-10 |
发明(设计)人: | 孙晓洁;吕中厚;王洋;高梦晗 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06F16/332;G06F40/30 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 杨泽;臧建明 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 变体 文本 检测 方法 模型 训练 装置 电子设备 | ||
本公开提供了一种变体文本检测方法、模型训练方法、装置及电子设备,涉及人工智能技术领域,尤其涉及文本处理领域。该方法包括:将多个文本分别输入变体文本检测模型,得到多个文本中每个文本的变体分数,变体文本检测模型是采用变体文本样本对文本识别模型进行训练得到的;根据每个文本的变体分数确定多个文本中的第一变体文本,并确定第一变体文本对应的第一账户;确定与第一账户相关的可疑账户;对可疑账户提交的文本进行内容特征检测,并根据内容特征检测的结果,确定可疑账户提交的文本中的第二变体文本,实现了对变体文本及时主动地挖掘。
技术领域
本公开涉及人工智能技术领域中的文本处理技术,尤其涉及一种变体文本检测方法、模型训练方法、装置及电子设备。
背景技术
UGC(User Generated Content,用户生成内容)平台常常会受到黑产团队的侵害,黑产团队往往通过大量账户以变体文本等形式发布其想要传递的违规网址等违禁内容。为了实现内容发布的目的,黑产团队通过对文本进行同音、谐音、近形、甚至结构上的变异等方式构造变体文本,在保障文本语义传达的情况下,通过变体文本绕过UGC 平台的风控检查,该行为严重影响了正常用户的使用体验,因此,对UGC 平台的内容进行变体文本检测十分必要。
相关技术中,通常是利用训练后的文本检测模型对UGC平台的内容进行检测,模型的检测能力与训练时的样本相关,然而,由于变体文本同时具有形式变异和语义正常传递这两个特性,在构造样本时很难构造出同时满足这两个特性的样本,且黑产全队的新的变体文本形式层出不穷,导致模型难以检测出新的变体文本。
发明内容
本公开提供了一种实现了对变体文本进行及时主动地挖掘的变体文本检测方法、模型训练方法、装置及电子设备。
根据本公开的一方面,提供了一种变体文本检测方法,方法包括:
将多个文本分别输入变体文本检测模型,得到多个文本中每个文本的变体分数,变体文本检测模型是采用变体文本样本对文本识别模型进行训练得到的;
根据每个文本的变体分数确定多个文本中的第一变体文本,并确定第一变体文本对应的第一账户;
确定与第一账户相关的可疑账户;
对可疑账户提交的文本进行内容特征检测,并根据内容特征检测的结果,确定可疑账户提交的文本中的第二变体文本。
根据本公开的另一方面,提供了一种模型训练方法,方法包括:
获取第一变体文本和第二变体文本,其中,第一变体文本是将多个文本分别输入变体文本检测模型,得到每个文本的变体分数后,根据每个文本的变体分数得到的变体文本,第二变体文本是对与第一变体文本对应的第一账户相关的可疑账户提交的文本进行内容特征检测,并根据内容特征检测的结果确定出的变体文本;
采用第一变体文本和第二变体文本,对变体文本检测模型进行训练,以更新变体文本检测模型的模型参数。
根据本公开的再一方面,提供了一种变体文本检测装置,装置包括:
输入模块,用于将多个文本分别输入变体文本检测模型,得到多个文本中每个文本的变体分数,变体文本检测模型是采用变体文本样本对文本识别模型进行训练得到的;
第一确定模块,用于根据每个文本的变体分数确定多个文本中的第一变体文本,并确定第一变体文本对应的第一账户;
第二确定模块,用于确定与第一账户相关的可疑账户;
检测模块,用于对可疑账户提交的文本进行内容特征检测,并根据内容特征检测的结果,确定可疑账户提交的文本中的第二变体文本。
根据本公开的再一方面,提供了一种模型训练装置,装置包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110860112.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:显示设备、测量方法及装置
- 下一篇:一种HSV减毒株及其制备方法与应用