| 融合多教师模型的知识蒸馏文本分类 | |
| 所屬分類：技术论文 | |
| 上傳者： | |
| 文檔大小：3704 K | |
| 標簽： 文本分类 知识蒸馏 BERT-wwm-ext | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：针对简单文本分类模型精度不高，预训练模型结构复杂，在实际环境中难以直接使用的问题，提出多教师知识蒸馏的文本分类方法。该模型使用“教师-学生网络”的训练方法，教师模型为BERT-wwm-ext和XLNet预训练模型，将两个模型输出的概率矩阵通过权重系数融合为软标签。学生模型为BiGRU-CNN网络，使用均方差函数计算软标签误差，使用交叉熵损失函数计算硬标签误差，通过硬标签和软标签训练学生模型使损失函数值达到最小。实验结果表明，提出的方法精度较学生模型有较大的改进，接近预训练模型，在保证分类精度的前提下减少了运行时间，提高了效率。 | |
| 現在下載 | |
| VIP會員，AET專家下載不扣分；重復下載不扣分，本人上傳資源不扣分。 | |
Copyright ? 2005-2024 華北計算機系統工程研究所版權所有 京ICP備10017138號-2