[发明专利]一种跨领域层次关系的知识蒸馏方法和系统

摘要

本发明公开了一种跨领域层次关系的知识蒸馏方法和系统，为各个领域构建了一系列参考原型特征，建立多个领域关系图网络来充分地学习不同领域间的关系，每个图节点代表一个领域的原型特征，每个边的权重代表相连的两个原型特征的相似度，这样，不同领域的关系便可以同时被捕捉生成一系列领域关系系数对各个领域在知识蒸馏过程中的权重进行重分配，引导模型动态地关注更重要的领域信息，可以更方便高效地处理多领域环境下模型压缩，大幅度地提升模型的性能，解决了现有的跨领域知识蒸馏方法在捕捉不同领域之间的关系信息方面能力较差，泛化性能较低，难以提高压缩语言模型的表达能力的技术问题。