[发明专利]广告库建立方法、广告数据识别方法及存储介质

说明书

本发明提供了一种广告库建立方法、广告数据识别方法及存储介质，广告库建立方法包括以下步骤：接收语料，按照用户粒度存储第一数量的语料；计算存储的第一数量的语料的信息熵；以及在计算的信息熵的数值低于预定阈值时，将所述语料或所述语料的主干放入广告库中。本发明提供的方法采用熵模型对语料进行分类，能够从每个用户所发消息中抓取广告消息，不用人工对数据标记、筛选便可快速准确的对大量数据进行挖掘，筛选出需要的数据加入广告库。

技术领域

本发明涉及网络数据处理领域，特别涉及一种广告库建立方法、广告数据识别方法及存储介质。

背景技术

在现有的网络游戏及直播平台中，没有一个现成的预先标注好的广告数据集(广告库)。如果想利用传统的文本分类方法对接收的用户发言数据进行是否为广告的分类，来建立广告数据集，就需要通过人工打标签的方法来进行初始的标注。但是通过人工对成千万上亿条的数据进行标注的工作量太大，且效率低效。因此，针对每天接近几千万的数据量，通过人工进行标注是否为广告的话，会耗费大量时间成本，低效。并且，新的广告类型出来之后，会过一段比较长的时间才会人工识别处理它是广告，从而把它加进广告库里面。这大大影响了对广告分类的效果。

如何通过无需人工监督的方法来对数据进行分类，是一个亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种无需人工监督的广告库建立方法和广告数据识别方法，以解决现有技术中的至少一个缺陷。

一方面，本发明实施例提供了一种广告库建立方法，该方法包括以下步骤：

接收语料，按照用户粒度存储第一数量的语料；

计算存储的第一数量的语料的信息熵；以及

在计算的信息熵的数值低于预定阈值时，将所述语料或所述语料的主干放入广告库中。

优选地，用如下公式计算第一数量的语料的信息熵：

其中，i是所述语料中的第i个字符，p_i是第i个字符出现的概率。

优选地，所述方法还包括：基于计算的信息熵确定用户为广告类型用户的概率，并基于当前确定的广告类型用户的概率更新广告用户概率库中相应用户的广告用户概率。

优选地，所述方法还包括：对于接收的每条语料，与广告库中的语料进行相似度匹配，基于匹配结果识别该语料是否为广告。

优选地，所述相似度匹配步骤包括：基于fuzzywuzzy模糊匹配来计算接收的语料和广告库中的语料的相似度。

优选地，所述方法还包括：在聊天窗口过滤掉被确定为广告的语料。

优选地，所述基于当前确定的广告类型用户的概率更新用户广告概率库中相应用户的广告用户概率的步骤包括：如果用户ID不在广告用户概率库中或者用户ID在广告用户概率库中记录的概率为0，则将当前确定的概率作为该用户的广告用户概率记录在广告用户概率库中；如果用户ID 存在于广告用户概率库中且该用户ID在广告用户概率库中记录的概率不为0，则基于如下公式更新用户ID广告概率：更新后的广告用户概率＝(原广告用户概率*原更新次数+当前确定的广告用户概率)/(原更新次数+1)。

另一方面，本发明实施例提供一种广告数据识别方法，该方法包括以下步骤：

接收语料，按照用户粒度存储第一数量的语料；

计算存储的第一数量的语料的信息熵；以及

基于计算的信息熵的数值识别语料是否为广告类型语料及/或识别用户是否为广告类型用户。

优选地，该广告数据识别方法还包括：在计算的信息熵的数值低于预定阈值时，将所述语料或所述语料的主干放入广告库中。