《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 业界动态 > DeepSeek联合北京大学发表重磅论文

DeepSeek联合北京大学发表重磅论文

2026-06-29
來源:快科技
關(guān)鍵詞: Deepseek 北京大学 大模型 DSpark

6月28日消息,當行業(yè)在討論誰的模型更聰明時,DeepSeek仍然把目光投向更現(xiàn)實的問題:如何讓大模型跑得更快。

昨日,DeepSeek官方在Github低調(diào)發(fā)表了一篇最新論文,介紹其推理加速框架DSpark,試圖解決大語言模型在高并發(fā)場景下的推理效率瓶頸。

從作者署名來看,這篇論文由DeepSeek與北京大學聯(lián)合發(fā)布,值得注意的是,DeepSeek創(chuàng)始人梁文鋒也位列作者名單。

在論文中,團隊開源了DSpark模型權(quán)重,并同步發(fā)布了面向推測解碼、由算法驅(qū)動的訓(xùn)練代碼倉庫DeepSpec。

DeepSeek首先解釋了需要解決的問題。大語言模型采用自回歸方式生成文本:每一個新詞元的生成,都需要基于全部前置詞元完成一次完整前向傳播,結(jié)果是輸出越長,等待越久。

由此帶來GPU利用率低下、用戶等待時間過長的問題,這是大語言模型線上服務(wù)的核心性能瓶頸,在實時對話助手、多輪智能體工作流等低時延敏感場景中尤為突出。

目前的主流方案分為自回歸草稿模型(Eagle3)、并行草稿模型(DFlash)兩條路線,二者各有缺陷,包括生成質(zhì)量瓶頸和系統(tǒng)效率瓶頸等,且現(xiàn)有方案均缺乏負載自適應(yīng)校驗機制。

基于此,DeepSeek提出DSpark推測解碼框架,采用半自回歸生成架構(gòu):保留并行主干的高吞吐優(yōu)勢,同時加入輕量級串行模塊,逐詞元注入前綴依賴信息。

該模塊提供兩種實現(xiàn)——僅依賴前一個詞元的馬爾可夫頭,以及通過循環(huán)狀態(tài)累積完整前綴信息的RNN頭。

實驗表明,兩層Transformer深度的DSpark即可在所有測試領(lǐng)域超過五層DFlash的接受長度。

目前,DeepSeek已經(jīng)將DSpark部署到DeepSeek-V4在線服務(wù)系統(tǒng)中,并基于真實用戶流量評估其實際性能。

結(jié)果顯示,相較于現(xiàn)有生產(chǎn)環(huán)境基線系統(tǒng)MTP-1,在相同吞吐量條件下,DSpark將用戶端生成速度提升了60%-85%。

此外,DeepSeek也將這一框架部署在其他模型上,以阿里旗下的Qwen3-4B、8B、14B三個模型為例,相較于自回歸草稿模型,DSpark平均單輪可接受詞元長度分別提升了30.9%、26.7%、30%;相較于并行草稿模型,DSpark分別提升了16.3%、18.4%、18.3%。

2.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 国产婷婷一区二区三区| 久久婷婷国产精品| 国产高清自拍99| av中文字幕av| 热99久久精品| 日韩有码在线播放| 色天天综合狠狠色| 尤物国产精品| 91国产丝袜在线放| www.亚洲视频.com| 久久久精品影院| 久久九九免费视频| 久久国产精品久久国产精品| 国产精品国产亚洲精品看不卡| 亚洲一区二区三区在线免费观看 | 亚洲精品国产一区| 在线不卡视频一区二区| www黄色av| 91国内揄拍国内精品对白| 91久久大香伊蕉在人线| 国产成人精品a视频一区www| 欧美在线观看日本一区| 亚洲精品女av网站| 日韩在线视频中文字幕| 色婷婷综合成人av| 久久综合电影一区| 精品久久久91| 国产精品久久久久久久av大片 | 日本国产一区二区三区| 欧美交换配乱吟粗大25p| 免费国产成人av| 久久精品无码中文字幕| 国产男女激情视频| 久久久成人精品| 日韩a在线播放| 麻豆精品视频| 国产精品久久亚洲7777| 国产99视频在线观看| 国产在线观看福利| 欧美国产亚洲一区| 国产精品久久久久久久久久99 |