[发明专利]一种语义结构解析方法、装置、设备及虚拟化系统、介质有效
申请号: | 202111462969.7 | 申请日: | 2021-12-03 |
公开(公告)号: | CN113868322B | 公开(公告)日: | 2022-03-29 |
发明(设计)人: | 龚小龙;郑聪;麻志毅 | 申请(专利权)人: | 杭州未名信科科技有限公司;浙江省北大信息技术高等研究院 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/28;G06N3/08 |
代理公司: | 北京辰权知识产权代理有限公司 11619 | 代理人: | 鞠永帅 |
地址: | 311200 浙江省杭州市萧*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 语义 结构 解析 方法 装置 设备 虚拟 系统 介质 | ||
1.一种语义结构解析方法,其特征在于,包括:
获取元数据;
判断所述元数据的语义结构是否完整,所述语义结构至少包括列主题和表主题;
若所述语义结构不完整,则将所述元数据对应的物理数据输入训练完成的模式匹配预训练模型,得到预测列主题,和/或,将所述元数据对应的物理数据输入训练完成的深度语义表征预训练模型,得到预测表主题,将所述语义结构补充完整;
将语义结构完整的所述元数据转换为标准语义结构数据;
所述模式匹配预训练模型的训练过程为:
获取已标注的样本数据;
提取所述样本数据的数据特征、文本语义特征和统计特征;
将所述样本数据的数据特征、文本语义特征和统计特征重组为所述样本数据的特征向量;
将所述样本数据的特征向量和标注作为输入参数,对预设的神经网络模型进行训练,得到模式匹配预训练模型;
所述深度语义表征预训练模型的训练过程为:
获取已标注的样本数据;
将所述样本数据按照预设规则进行分块,获取多个样本数据集,所述样本数据集中的每个样本数据的标注相同;
提取所述样本数据的数据特征、文本语义特征和统计特征;
将样本数据集中所有样本数据的数据特征、文本语义特征和统计特征重组为所述样本数据集的特征向量;
将所述样本数据集的特征向量和标注作为输入参数,对预设的神经网络模型进行训练,得到深度语义表征预训练模型。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
对所述标准语义结构数据的表主题进行分类,建立分类映射表;
将所述标准语义结构数据和所述分类映射表转换为数据视图进行展示;
获取所述数据视图的反馈数据,在所述反馈数据的数量累计到预设数据量或者当前时间位于预设时间范围内后,对所述模式匹配预训练模型和所述深度语义表征预训练模型进行迭代;
获取迭代后的所述模式匹配预训练模型和/或所述深度语义表征预训练模型的F1分数和精准率;
在所述F1分数和精准率落入预设范围后,停止对所述模式匹配预训练模型和所述深度语义表征预训练、
模型进行迭代。
3.一种语义结构解析装置,其特征在于,包括:
获取单元,其用于获取元数据;
判断单元,其用于判断所述元数据的语义结构是否完整,所述语义结构至少包括列主题和表主题;
补充单元,其用于若所述语义结构不完整,则将所述元数据对应的物理数据输入训练完成的模式匹配预训练模型,得到预测列主题,和/或,将所述元数据对应的物理数据输入训练完成的深度语义表征预训练模型,得到预测表主题,将所述语义结构补充完整;
所述补充单元中所述模式匹配预训练模型的训练过程为:获取已标注的样本数据;提取所述样本数据的数据特征、文本语义特征和统计特征;将所述样本数据的数据特征、文本语义特征和统计特征重组为所述样本数据的特征向量;将所述样本数据的特征向量和标注作为输入参数,对预设的神经网络模型进行训练,得到模式匹配预训练模型;
所述补充单元中所述深度语义表征预训练模型的训练过程为:获取已标注的样本数据;将所述样本数据按照预设规则进行分块,获取多个样本数据集,所述样本数据集中的每个样本数据的标注相同;提取所述样本数据的数据特征、文本语义特征和统计特征;将样本数据集中所有样本数据的数据特征、文本语义特征和统计特征重组为所述样本数据集的特征向量;将所述样本数据集的特征向量和标注作为输入参数,对预设的神经网络模型进行训练,得到深度语义表征预训练模型;
转换单元,其用于将语义结构完整的所述元数据转换为标准语义结构数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州未名信科科技有限公司;浙江省北大信息技术高等研究院,未经杭州未名信科科技有限公司;浙江省北大信息技术高等研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111462969.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:路径规划方法和电子设备
- 下一篇:一种防堵塞的厨余垃圾自动破碎收集装置