[发明专利]一种人工智能信息处理系统、方法及可读存储介质在审
申请号: | 202011186199.3 | 申请日: | 2020-10-29 |
公开(公告)号: | CN112199571A | 公开(公告)日: | 2021-01-08 |
发明(设计)人: | 乌斯曼·可·尼亚齐 | 申请(专利权)人: | 广州市西美信息科技有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/35;G06F40/117;G06F40/205;G06K9/62;G06F16/28 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郭浩辉;颜希文 |
地址: | 510000 广东省广州*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 人工智能 信息处理 系统 方法 可读 存储 介质 | ||
1.一种人工智能信息处理系统,其特征在于,包括:
用户端,对用户进行信息爬取时所得到的爬取信息进行类别划分与信息增强并上传至云端;
中间件,获取云端针对信息增强后的爬取信息所创建的初始信息爬取模型,通过迭代法对各自的初始信息爬取模型进行训练,并将训练后的初始信息爬取模型发送至云端;
云端,通过融合算法对各中间件训练后的初始信息爬取模型进行融合得到目标信息爬取模型,并将该目标信息爬取模型下发至用户端进行互联网信息的爬取。
2.根据权利要求1所述的人工智能信息处理系统,其特征在于,所述用户端包括:
信息爬取子系统,获取用户当前所处的应用环境及所需爬取的爬取信息,并根据所述应用环境及爬取信息进行互联网信息的爬取;
信息处理子系统,对所述信息爬取子系统所爬取到的互联网信息进行识别、筛选与整理后上传至云端。
3.根据权利要求2所述的人工智能信息处理系统,其特征在于,所述信息爬取子系统包括:
结构化信息爬取装置,对用户所需进行信息爬取的网址进行识别与字段解析,爬取所有的第一字段信息,并将所述第一字段信息贮存到第一缓存库中,其中所述第一字段信息包括文字及数值;
非结构化信息爬取装置,对用户所需进行信息爬取的网址及关键词进行解析后,爬取所有的第二字段信息爬取下,并将所述第二字段信息贮存到第二缓存库中,其中所述第二字段信息包括文本、图片、音频及视频。
4.根据权利要求2所述的人工智能信息处理系统,其特征在于,所述信息处理子系统包括:
第一信息处理装置,将获取的关键词与第一缓存库中的第一字段信息进行精确匹配后形成结构化信息的表头字段,将调取到的第一字段信息的内容映射至相应的关键词下,生成结构化文档;
第二信息处理装置,根据语料库各级语料目录对所述第二字段信息进行细分、聚类、序列及关联处理,生成结构化文档,所述结构化文档中包含用户所需爬取的所有爬取信息。
5.根据权利要求1所述的人工智能信息处理系统,其特征在于,所述第二信息处理装置包括:
细分模块,根据用户端获取的关键词及语料库的最小颗粒度给第二字段信息贴上标签;
聚类模块,根据所述第二字段信息的标签及语料库上一级归类对所述第二字段信息的进行匹配以及分类;
序列模块,根据时间、空间及大小维度对所述第二字段信息进行排序;
关联模块,根据语料库各级目录之间的关系,对所述第二字段信息进行关联,其中包括包含与被包含、子父目录关系、上下游关系、化学关系、物理关系、生物关系。
6.根据权利要求1所述的人工智能信息处理系统,其特征在于,所述中间件包括:
调整模块,根据中间件中各中间单元的爬取信息的平衡度对各中间单元的用户端进行调整;
接收模块,接收云端向各中间单元下发的对应的初始信息爬取模型;
训练模块,根据用户端在上一轮训练的初始信息爬取模型、当前训练数据、初始信息爬取模型的学习率及损失函数对所述初始信息爬取模型进行训练,并将训练后的初始信息爬取模型发送至云端。
7.根据权利要求1所述的人工智能信息处理系统,其特征在于,所述调整模块包括:
计算单元,根据各中间单元的类别分布率与均匀类别分布率的离散率,计算各中间单元的爬取信息平衡度;
调整单元,根据各中间单元的爬取信息平衡度,获取所有未分配中间单元的用户端,根据未分配中间单元的用户端的类别分布率对中间单元的平衡度进行调整。
8.根据权利要求1所述的人工智能信息处理系统,其特征在于,所述云端包括:
接收模块,接收各中间单元进行模型更新后的所得到的更新信息爬取模型;
融合模块,将各更新信息爬取模型作为输入,通过联邦加权算法对各更新信息爬取模型进行融合,以得到目标信息爬取模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州市西美信息科技有限公司,未经广州市西美信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011186199.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种新型玉石雕刻工具
- 下一篇:一种基于灰度直方图的电润湿显示器缺陷检测方法