[发明专利]一种文本信息处理方法、装置、电子设备及存储介质在审
申请号: | 202011308053.1 | 申请日: | 2020-11-20 |
公开(公告)号: | CN112434524A | 公开(公告)日: | 2021-03-02 |
发明(设计)人: | 牛力强 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 高天华;张颖玲 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 信息处理 方法 装置 电子设备 存储 介质 | ||
1.一种文本信息处理方法,其特征在于,所述方法包括:
获取文本处理环境中的待处理文本信息;
对所述待处理文本信息进行分词处理,确定至少一个候选关键词向量;
通过词向量处理网络,对候选关键词向量进行动态调整,形成候选关键词向量集合,以及与所述候选关键词向量集合中的不同关键词向量所分别对应的奖励值参数;
通过深度强化学习网络,基于所述候选关键词向量集合与奖励值参数,确定与所述待处理文本信息相匹配的关键词抽取策略;
基于所述关键词抽取策略对所述候选关键词向量集合进行抽取,获得至少一个关键词向量作为所述待处理文本信息的关键词。
2.根据权利要求1所述的方法,其特征在于,所述对所述待处理文本信息进行分词处理,确定至少一个候选关键词向量,包括:
根据所述待处理文本信息所携带的问题文本参数信息,触发相应的分词库;
通过所触发的所述分词库单词词典对所述问题文本进行分词处理,形成不同的词语级问题文本;
对所述不同的词语级问题文本进行除噪处理,形成与所述问题文本相对应的词语级特征向量集合,其中,所述词语级特征向量集合中包括至少一个候选关键词向量。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
确定对所述问题文本进行分词处理时所使用的分词库的名称;
根据与所述分词库的名称,确定与所述问题文本相对应的词语级特征向量相匹配的分词库的参数,其中,所述分词库的参数包括:
所述分词库的种类、所述分词库的名称和所述分词库的版本。
4.根据权利要求2所述的方法,其特征在于,所述对所述不同的词语级问题文本进行除噪处理,形成与所述问题文本相对应的词语级特征向量集合,包括:
确定与所述词向量处理网络的使用环境相匹配的动态噪声阈值;
根据所述动态噪声阈值对所述问题文本集合进行去噪处理,并触发与所述动态噪声阈值相匹配的动态分词策略;
根据与所述动态噪声阈值相匹配的动态分词策略,对所述问题文本进行分词处理,形成与所述问题文本相对应的动态词语级特征向量集合。
5.根据权利要求2所述的方法,其特征在于,所述对所述不同的词语级问题文本进行除噪处理,形成与所述问题文本相对应的词语级特征向量集合,包括:
确定与所述词向量处理网络的使用环境相对应的固定噪声阈值;
根据所述固定噪声阈值对所述问题文本集合进行去噪处理,并触发与所述固定噪声阈值相匹配的固定分词策略;
根据与所述固定噪声阈值相匹配的固定分词策略,对所述问题文本进行分词处理,与所述问题文本相对应的固定词语级特征向量集合。
6.根据权利要求1所述的方法,其特征在于,所述通过词向量处理网络,对候选关键词向量进行动态调整,形成候选关键词向量集合,以及与所述候选关键词向量集合中的不同关键词向量所分别对应的奖励值参数,包括:
通过所述词向量处理网络,利用蒙特卡罗树搜索算法对所述候选关键词向量进行删除与合并,实现对所述候选关键词向量进行动态调整;
确定所述候选关键词向量集合中的每一个候选关键词向量在标准语料库中出现的次数信息;
确定每一个候选关键词向量相匹配的字符向量在所述标准语料库中出现的次数信息;
基于所述候选关键词向量在标准语料库中出现的次数信息以及字符向量在所述标准语料库中出现的次数信息,确定所述候选关键词向量集合中的不同关键词向量所分别对应的奖励值参数。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
根据所述待处理文本信息的文本处理环境,确定与所述文本处理环境相适配的词向量处理网络的模型参数;
基于与所述文本处理环境相适配的词向量处理网络的模型参数,通过相匹配的蒙特卡罗树搜索算法对所述候选关键词向量进行删除或者合并,动态调整所述候选关键词向量的数量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011308053.1/1.html,转载请声明来源钻瓜专利网。