[发明专利]医疗文本纠错方法、装置以及存储介质

权利要求书

1.一种医疗文本纠错方法，其特征在于，所述医疗文本纠错方法包括：

建立医疗领域的预训练语言模型BERT_bio；

校正所述预训练语言模型BERT_bio，得到待纠错医疗文本；

纠正所述待纠错医疗文本。

2.根据权利要求1所述的医疗文本纠错方法，其特征在于，所述建立医疗领域的预训练语言模型BERT_bio包括：

获取第一医疗文本；

识别并获取所述第一医疗文本中的无标注数据Rⁿ，将所述无标注数据Rⁿ作为第二医疗文本，

Rⁿ＝[s₁，s₂ … s_i … s_n] (1)

其中，s＝[w₀,w₁ … w_i … w_n]，s表示所述第二医疗文本的每一条文本，w表示所述第二医疗文本的每一个字/字符；

以所述第二医疗文本训练所述预训练语言模型BERT_bio，所述预训练语言模型BERT_bio的训练目标为P，

P＝(w_i|w₀ … w_i,w_i+1 … w_n) (2)

其中，0≤i≤n且n为自然数。

3.根据权利要求2所述的医疗文本纠错方法，其特征在于，所述校正所述预训练语言模型BERT_bio，得到待纠错医疗文本，包括：

建立分类模型；

通过所述分类模型预测所述第二医疗文本的概率分布Prob；

根据所述概率分布Prob筛选出所述待纠错医疗文本。

4.根据权利要求3所述的医疗文本纠错方法，其特征在于，所述建立分类模型包括：

定义第一输入序列Xⁿ，并在所述第一输入序列Xⁿ的源端添加标签[CLS]，

Xⁿ＝[x₀，x₁ … x_i … x_n] (3)

将添加标签的所述第一输入序列Xⁿ经过预训练语言模型BERT_bio，得到第一输入向量E，

E＝[e₀,e₁，e₂ … e_i … e_n] (4)

其中，e_i表示所述第二个医疗文本的第i个字/字符的第一输入向量；

对所述第二医疗文本中的每个字/字符进行编码Trm(e_i)，

其中，表示所述第二医疗文本中第n层的第i字/字符的隐层向量，

0≤i≤n且n为自然数。

5.根据权利要求4所述的医疗文本纠错方法，其特征在于，所述通过所述分类模型预测所述第二医疗文本的概率分布Prob包括：

获取所述第二医疗文本中第n层的第一隐层向量

将所述第n隐层向量中第一个字/字符做线性变换C，

预测所述第二医疗文本的概率分布Prob，

Prob＝softmax(C) (8)

其中，表示所述第二医疗文本中第n层的第一个字符的隐层向量。