[发明专利]基于人工智能的文本主题生成方法、装置、设备及介质有效
申请号: | 202210033713.2 | 申请日: | 2022-01-12 |
公开(公告)号: | CN114510923B | 公开(公告)日: | 2023-08-15 |
发明(设计)人: | 陈浩 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/284;G06F40/30;G06F18/23213 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉;陈秋波 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 人工智能 文本 主题 生成 方法 装置 设备 介质 | ||
1.一种基于人工智能的文本主题生成方法,其特征在于,所述方法包括:
获取目标文本集;
对所述目标文本集中的每个所述目标文本进行句子向量生成;
采用K-Means聚类算法和预设的聚类数量,对各个所述句子向量进行聚类,得到多个句子向量聚类集;
从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取,得到与所述指定句子向量聚类集对应的目标文本主题,其中,所述指定句子向量聚类集是任一个所述句子向量聚类集;
所述采用K-Means聚类算法和预设的聚类数量,对各个所述句子向量进行聚类,得到多个句子向量聚类集的步骤,包括:
设置数量与所述聚类数量相同的聚类中心,并对每个所述聚类中心进行初始化;
计算每个所述句子向量与每个所述聚类中心之间的向量距离;
根据各个所述向量距离,将各个所述句子向量按照最小距离原则分配到最邻近的所述聚类中心对应的初始聚类集;
对每个所述初始聚类集进行向量平均值计算,得到每个所述初始聚类集对应的向量平均值;
将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中心,其中,所述指定向量平均值是任一个所述向量平均值;
重复执行所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤,直至每个所述初始聚类集对应的所述聚类中心不再变化;
将每个所述初始聚类集作为一个所述句子向量聚类集;
所述计算每个所述句子向量与每个所述聚类中心之间的向量距离的步骤,包括:
采用余弦相似度算法,计算每个所述句子向量与每个所述聚类中心之间的所述向量距离;
所述采用K-Means聚类算法和预设的聚类数量,对各个所述句子向量进行聚类,得到多个句子向量聚类集的步骤,还包括:
采用预设的降维算法,对每个所述句子向量进行降维处理;
采用K-Means聚类算法和所述聚类数量,对降维处理后的各个所述句子向量进行聚类,得到多个所述句子向量聚类集;
所述从指定句子向量聚类集对应的各个所述目标文本中分别进行TF-IDF权重值的计算及词语提取,得到与所述指定句子向量聚类集对应的目标文本主题的步骤,包括:
将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档,得到目标文档;
对所述目标文档进行分词,得到初始词语集;
对初始词语集进行词语去重,得到目标词语集;
采用TF-IDF算法和所述初始词语集,对所述目标词语集中的每个词语进行TF-IDF权重值计算;
将各个所述TF-IDF权重值进行倒序排序,得到TF-IDF权重值集;
采用从开头开始获取的方法,从所述TF-IDF权重值集中获取数量与预设的词语数量相同的所述TF-IDF权重值,得到TF-IDF权重值集;
将所述TF-IDF权重值集对应的各个词语,作为与所述指定句子向量聚类集对应的所述目标文本主题。
2.根据权利要求1所述的基于人工智能的文本主题生成方法,其特征在于,所述获取目标文本集的步骤,包括:
获取多个小说简介文本;
对每个所述小说简介文本进行数据清洗,得到每个所述小说简介文本对应的所述目标文本;
将各个所述小说简介文本各自对应的所述目标文本作为所述目标文本集。
3.根据权利要求1所述的基于人工智能的文本主题生成方法,其特征在于,所述对所述目标文本集中的每个所述目标文本进行句子向量生成的步骤,包括:
将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型进行所述句子向量生成,其中,所述句子向量生成模型是基于Bert模型训练得到模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210033713.2/1.html,转载请声明来源钻瓜专利网。