《電子技術應用》
您所在的位置:首頁 > 人工智能 > 业界动态 > 阿里云新方案英伟达GPU用量削减82%

阿里云新方案英伟达GPU用量削减82%

打造“AI性能压榨魔鬼”,213张卡干1192张卡的活
2025-10-20
來源:IT之家
關鍵詞: 阿里云 Aegaeon GPU AI

南華早報10月18日發布博文,報道稱在韓國首爾舉辦的第 31 屆操作系統原理研討會(SOSP)上,阿里云發布的“Aegaeon”的計算池化解決方案研究成果成功入選,可解決 AI 模型服務中普遍存在的 GPU 資源浪費問題。

查詢公開資料,SOSP 是計算機操作系統領域的頂尖會議,相當于計算機操作系統界的“奧斯卡”,其錄取率控制非常嚴格,平均每年收錄的論文數量僅有數十篇,入選論文代表了操作系統和軟件領域最具代表的研究成果。

博文稱云服務商當前在提供 AI 模型服務時,面臨著嚴重的資源效率低下問題。平臺需要同時托管數千個 AI 模型以處理海量并發 API 調用,但用戶請求往往高度集中在少數幾個熱門模型上,例如阿里巴巴的 Qwen 系列模型。

研究人員發現,這種“長尾效應”導致了嚴重的資源閑置:在阿里云的模型市場中,竟有 17.7% 的 GPU 算力僅被用于處理 1.35% 的請求,造成了巨大的成本浪費。

為解決這一痛點,Aegaeon 系統應運而生。它通過創新的 GPU 資源池化技術,允許單個 GPU 動態服務于多個不同的 AI 模型,打破了以往 GPU 與特定模型綁定的低效模式。

format,f_avif.avif.jpg

在阿里云模型市場進行的為期超過三個月的 Beta 測試中,Aegaeon 系統展現了卓越的效能。測試數據顯示,服務數十個參數量高達 720 億的大模型,所需的英偉達 H20 GPU 數量從 1192 個成功減少至 213 個,數量削減高達 82%。

format,f_avif.avif (1).jpg

這項由北京大學與阿里云合作的研究成果,被認為是“首個揭示并解決市場上并發大語言模型服務存在過高成本”的公開工作,為行業提供了全新的優化思路。

值得一提的是,阿里云首席技術官周靖人也是該論文的作者之一。周靖人是國際電氣與電子工程師協會會士(IEEE Fellow),國際計算機協會會士(ACM Fellow),阿里巴巴集團副總裁,阿里云智能 CTO、達摩院副院長。

subscribe.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 97成人精品视频在线观看| 久久在线免费观看视频| 欧美高清视频一区| 国产欧美日韩专区发布| 国产欧美日韩中文字幕| 秋霞久久久久久一区二区| 日本视频久久久| 亚洲高清视频一区| 亚洲中文字幕无码专区| 91精品免费看| 日韩中文字幕在线观看| 蜜桃视频成人在线观看| 色婷婷综合久久久久中文字幕| 日本最新一区二区三区视频观看| 日韩欧美亚洲在线| 91久久久亚洲精品| 欧美乱人伦中文字幕在线| 97碰在线观看| 久久久久免费视频| 久久久久免费视频| 日本久久中文字幕| 人妻av无码专区| 亚洲免费在线精品一区| 日韩精品视频久久| 高清一区二区三区视频| 国产在线观看不卡| 亚洲视频在线观看日本a| 一区二区高清视频| 欧美在线一区二区三区四区| 一区二区三区在线观看www| 日韩最新av在线| 一区二区三区四区视频在线观看| 国产美女精品视频免费观看| 欧美日韩精品在线一区二区| 国产精品视频永久免费播放| 中文字幕精品一区日韩| 亚洲永久激情精品| 国产欧美一区二区三区不卡高清| 久久九九视频| 国产中文字幕免费观看| 99视频免费观看蜜桃视频|