[发明专利]一种文档处理方法、装置及服务器在审
申请号: | 202010194838.4 | 申请日: | 2020-03-19 |
公开(公告)号: | CN111475647A | 公开(公告)日: | 2020-07-31 |
发明(设计)人: | 张瑜;谭瑞;李钢;权佳成;陈旭阳 | 申请(专利权)人: | 平安国际智慧城市科技股份有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/216;G06F40/289 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;彭程 |
地址: | 518000 广东省深圳市前海深港合*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文档 处理 方法 装置 服务器 | ||
本申请实施例提供了一种文档处理方法、装置及服务器,该方法包括:获取第一政策文档集,所述第一政策文档集包括至少一个政策文档;对所述第一政策文档集进行预处理,得到词集合,所述词集合包括多个词语;根据所述词集合以及预设标签,从第一政策文档集中分别提取多个行业类目下每个行业类目的标签集合;获取第二政策文档集,所述第二政策文档集包括所述每个行业类目对应的至少一个政策文档;根据所述第二政策文档集,获取所述每个行业类目的标签集合中各个标签的词频特征,并根据所述每个行业类目的标签集合中各个标签的词频特征进行数据处理。采用本申请,可以提升在使用政策文档的词频特征来进行数据处理时的可靠性。
技术领域
本申请涉及通信技术领域,尤其涉及一种文档处理方法、装置及服务器。
背景技术
大数据和人工智能技术等技术的发展为广大用户提供了高质量的数据服务。在这些技术中广泛应用到了文档的词频特征来进行数据处理,如进行文档分类。目前,通常可以利用词频分析工具来获取文档的词频特征。然而,在一些情况下,如针对全国及各地方政府发布的政策文档,如果采用词频分析工具来获取政策文档的词频特征,将导致获取的词频特征的针对性较差,进而导致数据处理过程的靠性较低。
发明内容
本申请实施例提供了一种文档处理方法、装置及服务器,可以提升在使用政策文档的词频特征来进行数据处理时的可靠性。
第一方面,本申请实施例提供了一种文档处理方法,包括:
获取第一政策文档集,所述第一政策文档集包括至少一个政策文档;
对所述第一政策文档集进行预处理,得到词集合,所述词集合包括多个词语;
根据所述词集合以及预设标签,从第一政策文档集中分别提取多个行业类目下每个行业类目的标签集合;
获取第二政策文档集,所述第二政策文档集包括所述每个行业类目对应的至少一个政策文档;
根据所述第二政策文档集,获取所述每个行业类目的标签集合中各个标签的词频特征,并根据所述每个行业类目的标签集合中各个标签的词频特征进行数据处理。
可选地,所述根据所述每个行业类目的标签集合中各个标签的词频特征进行数据处理,包括:
利用所述第二政策文档集以及所述每个行业类目的标签集合中各个标签的词频特征对预设模型进行训练,得到政策文档分类模型以用于行业类目预测。
可选地,所述根据所述词集合以及预设标签,从第一政策文档集中提取多个行业类目下每个行业类目的标签集合,包括:
根据预设标签包括的多个行业类目下每个行业类目的标签组,确定该行业类目的标签组在所述第一政策文档集中对应的多个文本;
根据所述词集合从所述多个文本中确定出该行业类目对应的用于聚类的文本集;
利用主题模型对所述每个行业类目的文本集进行聚类,得到聚类结果,所述聚类结果包括多个主题中每个主题下的词分布;
根据多个主题中每个主题下的词分布构建所述每个行业类目的标签集合。
可选地,所述根据所述词集合从所述多个文本中确定出该行业类目对应的用于聚类的文本集,包括:
对所述词集合包括的多个词语中每个词语进行向量表示,得到词向量集合,所述词向量集合包括所述每个词语的词向量;
利用所述词向量集合对所述多个文本中每个文本进行向量表示,得到所述每个文本的文本向量;
利用所述每个文本的文本向量,计算所述多个文本之间的相似度;
根据所述多个文本之间的相似度,从所述多个文本中确定出相似度大于或等于预设相似度的文本;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司,未经平安国际智慧城市科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010194838.4/2.html,转载请声明来源钻瓜专利网。