[发明专利]一种基于多任务学习的社交媒体疫情事件抽取技术

说明书

本发明涉及一种基于多任务学习的社交媒体疫情事件抽取技术，包括：提取文本的多个特征向量；将多个特征向量进行融合；进行多任务联合训练，多任务包括相关预测、实体填槽预测和句子分类预测；对疫情事件进行相关预测；对疫情事件进行实体填槽预测；对疫情事件进行句子分类预测。本发明的有益效果是：本发明通过改进多任务学习，并且加入Attention机制获得多特征融合向量，增强模型的信息提取能力，获得更为准确有效的信息，同时利用多任务联合训练实现不同任务间的信息共享，进行任务预测，提高针对社交媒体的Covid‑19事件抽取性能，并且在WNUT‑2020shared Task3数据集中获得了优异性能。

技术领域

本发明涉及社交媒体事件抽取领域，更确切地说，它涉及一种基于多任务学习的社交媒体疫情事件抽取技术。

背景技术

信息时代的到来，给人们的生活方式带来了革命性的变革，社交媒体的出现更是重塑了人们的生活方式。与此同时，大量的疫情信息在社交媒体上广泛传播，信息中的相关内容对于流行病学家和政府更好判断疫情局势，做出调控具有极大的帮助作用。同时，社交媒体能够为疫情监测系统的建立提供充足的实时数据。然而，因为社交媒体信息的庞大数据量，对于文本中提及的人、位置和时间以及文字中隐含的如发布者是否与感染者发生过接触等关键信息采用人力标注是不切实际的。

利用人工智能进行大数据信息处理是亟待解决的问题。围绕社交媒体的信息处理这一核心，研究人员在社交媒体信息提取、理解和应用等多维方向上展开探索，旨在希望通过对社交媒体领域疫情信息处理的技术创新，推动诸如疫情相关的事件抽取、知识图谱构建等以信息为导向的人工智能领域发展。综上，针对社交媒体COVID-19疫情信息处理的研究对于人类社会的发展有着重大意义。

在过往的工作中，研究人员在COVID-19社交媒体事件抽取领域做出了一些探索。Bert for joint intent classification and slot filling.,chen等人，arXivpreprint arXiv:1902.10909,在2019年的工作中开发了一种基于BERT的联合意图分类和槽填充模型的系统，他们的系统依靠预先训练的BERT模型对输入序列进行编码，并通过最大化两个任务之间的条件概率来联合训练。在该模型的基础上,TEST_POSITIVE at W-NUT2020Shared Task-3:Joint Event Multi-task Learning for Slot Filling in NoisyText,chen等人，arXiv preprint arXiv:2009.14262,2020.提出了一项基于命名实体识别的后续处理技术，通过过滤掉实体匹配错误的预测项以提高填槽预测的准确性。imec-ETRO-VUB at W-NUT 2020Shared Task-3:A Multilabel BERT-based system forpredicting COVID-19events, Yang等人,In Proceedings of the Sixth Workshop onNoisy User-generated Text(W- NUT 2020)则是引入了专门针对COVID-19疫情文本的COVID-Twitter BERT预训练模型，有效提升了事件抽取任务的准确性。此外，UCD-CS at W-NUT 2020Shared Task-3:A Text to Text Approach for COVID-19Event.Wang等人，InProceedings of the Sixth Workshop on Noisy User-generated Text(W-NUT 2020).Association for Computational Linguistics,2020，则是将事件抽取任务改造成了对话任务，借助T5预训练模型有效提升了事件抽取的性能。

上述大多数的工作都是基于引入更先进的预训练模型或者附加额外的信息。然而，单纯的增大信息量有时并不能对模型性能产生有效的提升，反而增加了噪声产生的风险，从而对模型性能产生不利影响。

发明内容