[发明专利]一种基于词嵌入语义分析的数据格式自解析方法

说明书

本发明提供一种基于词嵌入语义分析的数据格式自解析方法包括：收集不同节点的的指令词，并将不同节点的指令词通过词嵌入的方式转换为词向量，形成词向量列表，将所述词向量列表嵌入到各个节点中；发送节点将发送报文中的第一指令词，通过词嵌入的方式转换为第一词向量后，发送报文；接收节点接收所述发送报文，提取发送报文的第一词向量，第一词向量与词向量列表中的词向量匹配，获取词向量列表中，与第一词向量相同或相近的第二词向量，执行第二词向量对应的第二指令词。本发明有效解决非同源设备之间的由于数据格式不一致而无法解析的问题。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种基于词嵌入语义分析的数据格式自解析方法。

背景技术

随着物联网(Internet of Things,IoT)产业的发展，不同类型的物联网设备如雨后春笋般涌现出来。然而，由于生产标准不一致，不同厂家生产的物联网传感器和处理器之间很难互联互通。用户业务间的互联和信息共享十分困难。在已有物联网解决方案中，物联网节点通信过程中，发送端A和接收端B可能是非同源设备(设备厂商、产品型号或者生产标准不同)而导致的A和B的数据格式对业务数据格式有着不同的定义。

因此，A发出的报文与B接收的报文使用的数据格式定义规约不一致。接受节点由于与发送端采用的数据格式不匹配，导致两个节点之间难以实现有效的信息传递，极大地限制了非同源节点之间互联互通有效范围。

因此，为了解决现有技术中出现的上述问题，需要一种基于词嵌入语义分析的数据格式自解析方法，来解决不同源节点之间互联互通受限的问题。

发明内容

本发明的目的在于提供一种基于词嵌入语义分析的数据格式自解析方法，所述方法包括：

收集不同节点的的指令词，并将不同节点的指令词通过词嵌入的方式转换为词向量，形成词向量列表，将所述词向量列表嵌入到各个节点中；

发送节点将发送报文中的第一指令词，通过词嵌入的方式转换为第一词向量后，发送报文；

接收节点接收所述发送报文，提取发送报文的第一词向量，第一词向量与词向量列表中的词向量匹配，获取词向量列表中，与第一词向量相同或相近的第二词向量，执行第二词向量对应的第二指令词。

优选地，所述方法还包括：

接收节点接收发送报文，提取发送报文的第一指令词，将第一指令与第二词向量对应的第二指令词进行相似度判断。

优选地，将第一指令词映射到n维欧式空间中的一个点，将第二指令词映射到n维欧式空间中的一个点，判断两个点的距离。

优选地，收集不同节点的指令词，并将不同节点的指令词通过词嵌入的方式转换为词向量过程中，对用于建立训练文本语料库的文献类别进行甄选。

优选地，建立的所述训练文本语料库中出现的第一类词，剔除该类关键词。

优选地，建立的所述训练文本语料库中出现的第二类词，剔除该类关键词。

优选地，当建立的所述训练文本语料库中出现的第一类词或第二类词，通过词嵌入的方式进行词性分析，剔除第一类词或第二类词关键词。

本发明提供的一种基于词嵌入语义分析的数据格式自解析方法，针对通信双方数据格式不一致的场景，基于消息语义对消息数据进行转换，对发送节点的数据包进行关键信息的提取，并将其转化为与接收方匹配的形式，有效解决非同源设备之间的由于数据格式不一致而无法解析的问题。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：