| 面向行业信息抽取的大模型知识蒸馏技术 | |
| 所屬分類：技术论文 | |
| 上傳者：wwei | |
| 文檔大小：1504 K | |
| 標(biāo)簽： 大模型 知识蒸馏 信息抽取 | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：面对某行业信息文本多样性、模糊性、规模性和复杂性所带来的实时性、准确性和算力资源挑战，设计了一种面向某行业信息抽取的大模型知识蒸馏技术。该方法采用大模型作为Teacher，小模型作为Student，首先通过设计和优化提示词模板引导Teacher模型生成标注数据集，其次基于生成的行业信息文本句式，并结合标注数据集与行业知识库来增强数据集，最后基于LoRA微调技术在增强数据集上训练Student模型。实验结果表明，本文算法不仅能有效提升Student模型在行业信息文本抽取任务中的性能，使其具备与Teacher模型接近的精确率与召回率，同时能显著降低模型部署的成本和复杂度，在资源受限的行业环境下带来更多优势和价值。 | |
| 現(xiàn)在下載 | |
| VIP會員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。 | |
Copyright ? 2005-2024 華北計算機(jī)系統(tǒng)工程研究所版權(quán)所有 京ICP備10017138號-2