[发明专利]基于信息熵的关键词提取方法、装置、设备及介质

说明书

本发明涉及人工智能领域，提供一种基于信息熵的关键词提取方法、装置、设备及介质，能够对接收到的标签文本进行预处理，在规范了文本的同时减少了字符的冗余度，提高数据处理的速度及效果，并采用逆信息熵向量，一方面能够在数据质量较高的情况下复制TF‑IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF‑IDF的类别区分能力失效问题，进而避免误判，且具有较高的可解释性，根据词权重矩阵提取目标关键词，实现自动且准确地关键词提取。此外，本发明还涉及区块链技术，目标关键词可存储于区块链节点中。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于信息熵的关键词提取方法、装置、设备及介质。

背景技术

在人工智能领域，关键词提取起着重要的作用，例如，企业员工培训流程中，已经有越来越多的环节逐渐从线下转移到线上。以寿险代理人职业培训为例，想要培训做到切实有效，使代理人有机会将所学运用到实际的寿险销售、客户维系等场景中，培训生产部门一定要在人群差异化和培训精细化方面进行深入探究。传统的方法主要围绕在和业务部门开展定时的沟通，及时收集不同代理人的诉求和兴趣点。这种人工采集归纳的方式在人力方面开销较大，更重要的是人工提炼流程难以保证时效性。而随着线上培训平台使用人数的扩增，培训平台本身已经成为宝贵的数据资源入口。代理人在平台上的搜索留言等数据都可以拿来服务于培训选题的提取。围绕各类平台用户当下的搜索关键词展开的课程主题恰恰可以满足当下用户的兴趣点和需求点。

但是，传统的关键词提取技术由于只考虑出现某词的文档个数，在文本语言环境类似的场景下，非常容易失效，难以起到发掘差异化关键词的作用，即便一个类别人群特有的热词只在其他类别人群中各出现一次，也会因为该词在每个文档中都出现过而把该词当作“常用词”对待，进而降低了该词在所属类别词汇中的权重，导致识别错误。

发明内容

鉴于以上内容，有必要提供一种基于信息熵的关键词提取方法、装置、设备及介质，一方面能够在数据质量较高的情况下复制TF-IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF-IDF的类别区分能力失效问题，进而避免误判，且具有较高的可解释性，实现自动且准确地关键词提取。

一种基于信息熵的关键词提取方法，所述基于信息熵的关键词提取方法包括：

对接收的标签文本进行预处理，得到待处理文本；

根据所述待处理文本构建至少一个词语序列；

根据所述至少一个词语序列计算词频矩阵；

对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵；

根据所述第二矩阵计算概率矩阵；

根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量；

计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵；

根据所述词权重矩阵提取目标关键词。

根据本发明优选实施例，所述对接收的标签文本进行预处理，得到待处理文本包括：

识别所述标签文本中的英文字母，并对所述英文字母进行规范化处理，得到第一文本；

识别并删除所述第一文本中的指定类型的字符，得到第二文本；

采用结巴分词算法切分所述第二文本，并在切分后得到的分词间插入空格，得到第三文本；

调用预先配置的词典对所述第三文本进行词语转化，得到第四文本；

对所述第四文本进行去重处理，得到所述待处理文本。