[发明专利]一种基于句内注意力模型的LSTM文本语义匹配方法及系统在审
| 申请号： | 202110436654.9 | 申请日： | 2021-04-22 |
| 公开（公告）号： | CN113177413A | 公开（公告）日： | 2021-07-27 |
| 发明（设计）人： | 彭德光;唐贤伦;代雪玲 | 申请（专利权）人： | 重庆兆光科技股份有限公司 |
| 主分类号： | G06F40/30 | 分类号： | G06F40/30;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 重庆渝之知识产权代理有限公司 50249 | 代理人： | 柴社英 |
| 地址： | 400000 重庆市沙坪*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 注意力 模型 lstm 文本 语义 匹配 方法 系统 | ||
1.一种基于句内注意力模型的LSTM文本语义匹配方法，其特征在于，包括：
将多个待匹配的文本分别转换为对应的输入序列，并将所述输入序列输入长短期记忆神经网络获取对应的隐含状态序列；
将所述隐含状态序列输入句内注意力模型，获取隐含状态序列的权值；
将所述隐含状态序列权值与所述隐含状态序列进行加权处理，获取所述输入序列对应的特征序列；
将多个所述待匹配文本对应的特征序列进行特征融合后输入分类器，获取匹配结果。
2.根据权利要求1所述的基于句内注意力模型的LSTM文本语义匹配方法，其特征在于，所述特征融合包括：将多个特征序列按位相乘得到融合特征序列。
3.根据权利要求1所述的基于句内注意力模型的LSTM文本语义匹配方法，其特征在于，将所述隐含状态序列输入句内注意力模型，获取隐含状态序列的权值，包括：将所述隐含状态序列分为两路，其中一路直接输入所述句内注意力模型，另一路经过全局平均池化后输入所述句内注意力模型；
计算所述隐含状态序列的注意力概率作为所述权值。
4.根据权利要求3所述的基于句内注意力模型的LSTM文本语义匹配方法，其特征在于，计算所述隐含状态序列的概率的方式，表示为：
其中，ei＝a(hi)，a(.)为注意力函数，hi为隐含状态序列。
5.根据权利要求1所述的基于句内注意力模型的LSTM文本语义匹配方法，其特征在于，将所述输入序列输入长短期记忆神经网络之前，还包括：
通过dropout策略使得长短期记忆神经网络的每个输入神经元的激活值以设定概率停止工作。
6.根据权利要求1所述的基于句内注意力模型的LSTM文本语义匹配方法，其特征在于，将多个待匹配的文本分别转换为对应的输入序列之前，对所述带匹配文本进行预处理，包括：通过停用词表筛除停用词。
7.根据权利要求2所述的基于句内注意力模型的LSTM文本语义匹配方法，其特征在于，将所述融合特征序列输入分类器之前，还包括：
通过dropout策略使得分类器的每个输入神经元的激活值以设定概率停止工作。
8.一种基于句内注意力模型的LSTM文本语义匹配系统，其特征在于，包括：
隐含序列提取模块，用于将多个待匹配的文本分别转换为对应的输入序列，并将所述输入序列输入长短期记忆神经网络获取对应的隐含状态序列；
权值获取模块，用于将所述隐含状态序列输入句内注意力模型，获取隐含状态序列的权值；
特征获取模块，用于将所述隐含状态序列权值与所述隐含状态序列进行加权处理，获取所述输入序列对应的特征序列；
匹配模块，用于将多个所述带匹配文本对应的特征序列进行特征融合后输入分类器，获取匹配结果。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆兆光科技股份有限公司，未经重庆兆光科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110436654.9/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种石英砂生产用分级浮选系统
- 下一篇：化学机械抛光方法
