| 基于BERT-CNN的新闻文本分类的知识蒸馏方法研究 | |
| 所屬分類：技术论文 | |
| 上傳者：aetmagazine | |
| 文檔大小：3576 K | |
| 標簽： 新闻文本 BERT CNN | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：近年来，随着大数据时代进入人类的生活之后，人们的生活中出现很多无法识别的文本、语义等其他数据，这些数据的量十分庞大，语义也错综复杂，这使得分类任务更加困难。如何让计算机对这些信息进行准确的分类，已成为当前研究的重要任务。在此过程中，中文新闻文本分类成为这个领域的一个分支，这对国家舆论的控制、用户日常行为了解、用户未来言行的预判都有着至关重要的作用。针对新闻文本分类模型参数量多和训练时间过长的不足，在最大限度保留模型性能的情况下压缩训练时间，力求二者折中，故提出基于BERT-CNN的知识蒸馏。根据模型压缩的技术特点，将BERT作为教师模型，CNN作为学生模型，先将BERT进行预训练后再让学生模型泛化教师模型的能力。实验结果表明，在模型性能损失约2.09%的情况下，模型参数量压缩约为原来的1/82，且时间缩短约为原来的1/670。 | |
| 現在下載 | |
| VIP會員，AET專家下載不扣分；重復下載不扣分，本人上傳資源不扣分。 | |
Copyright ? 2005-2024 華北計算機系統工程研究所版權所有 京ICP備10017138號-2