陕西师范大学学报(自然科学版)

作者：高子雄, 蒋盛益, 欧炎镁, 禤镇宇

单位：广东外语外贸大学信息科学与技术学院/网络空间安全学院,广东广州510006

关键词：意图识别与槽位填充,神经网络,知识蒸馏

基金：国家自然科学基金(61572145)

BERT 等预训练模型在很多 NLP 任务上取得了良好的效果,但预训练模型参数规模大,运算量大,对硬件资源要求高,难以部署在小型的配置环境中。模型压缩是解决该问题的关键,知识蒸馏是目前较好的模型压缩方法。基于此,提出基于多任务蒸馏的句意图识别和槽位填充联合模型,该模型将 ALBERT 运用到任务型对话系统中,并利用知识蒸馏策略将 ALBERT 模型知识迁移到 BiLSTM 模型。实验结果表明,基于 ALBERT 的联合模型在 SMP 2019 评测数据集中的句准确率为77.74%,单独训练的 BiLSTM 模型句准确率为58.33%,而蒸馏模型的句准确率为67.22%,在比 BiLSTM 高8.89%的情况下,推断速度约为ALBERT的18.9倍。

来源：2024年第3期

《陕西师范大学学报(自然科学版)》期刊编辑部

查看陕西师范大学学报(自然科学版)杂志2024年第3期