為解決人工智能（AI）芯片所面臨的“內存墻”這一長期挑戰，根據韓媒zdnet報導，內存封裝領域正在討論將圖形處理單元（GPU）或ASIC計算單元和高帶寬內存（HBM）拆分開來進行獨立封裝，然后通過“光學互聯”技術來連接它們，可以將當前8顆HBM的安裝數量提升到現在的數倍。

盡管每一代GPU性能都在大幅提升，但存儲數據的供應速度遠遠跟不上，HBM雖然提供了更寬的數據通道，但面對AI運算需求的爆炸式增長，帶寬和傳輸速度仍然不足。特別是隨著高帶寬內存（HBM）堆疊層數從12層、16層向20層以上邁進，垂直堆疊技術已走到臨界點——不僅工藝難度呈指數級上升，JEDEC甚至已放寬HBM高度規范，但更大的瓶頸在于：GPU芯片周圍的容納HBM的空間已耗盡，無法再橫向增加HBM數量。

過去，HBM一直緊貼在GPU旁邊，這是為了最小化數據傳輸延遲的必然選擇。然而，在2.5D封裝結構下，GPU芯片的“海岸線”——邊緣的長度嚴格限制了可容納的HBM數量，GPU芯片周圍的現有空間已經無法安裝更多HBM。

一位韓國大型存儲廠商的研究人員向ZDNet透露：“目前，我們正努力擴展HBM的帶寬和容量，但我們正在與客戶討論如何通過光連接克服GPU的‘海岸線’限制，可以安裝更多的HBM。”

具體而言，HBM可能被安置在距離GPU數厘米的位置，圍繞GPU環形排列，或在電路板中央設立獨立的HBM區域。由于光信號傳輸速度遠快于電信號，物理距離的增加不會造成明顯的延遲損失，卻可以徹底擺脫GPU邊長對HBM數量的限制。

這意味著，AI芯片廠商不需要內存廠商拼命堆高HBM層數，就可以將HBM水平鋪展，在同一塊基板上搭載比目前多數倍的容量，從而將整個AI加速器系統的內存容量和數據帶寬推向前所未有的水平。

“所有可能性都擺在桌面上討論，”上述研究人員表示，“從充分利用GPU周邊空間的方案，到將HBM完全隔離到GPU基板下方的方案都有涉及。后者需要顯著擴展主板尺寸和改變整體形態，目前已與GPU廠商展開討論。”他強調，這些還屬于下一代AI加速器的先行研究，尚未定案。

利用光學互連技術來連接GPU和HBM的設想并非空中樓閣。在2025年的Hot Chips大會上，Celestial AI已展示了其光子互聯模塊，該技術使用光來連接下一代大規模GPU與加速器中的芯片，并可將光學接口布置在ASIC芯片中間，將周邊空間留給HBM的電接口。

從產業化角度來看，全球OSAT廠商的一位高管對ZDNet表示：“光學互連已是明確的趨勢，問題只在時機。”他預測，技術落地將按規模由大到小推進——先在機架與機架之間、服務器與服務器之間采用光學連接，然后再進入單板內部的芯片間光互連。但他同時指出，目前光學研究速度非常快，芯片間光互連的時間點可能不會太遙遠。

一位韓國CPO器件開發企業的相關人士指出，GPU與HBM之間的光學互連，與數據中心服務器間的光通訊原理相同，但必須將原本用于大型設備的光電轉換技術縮小到芯片級別，“光學元件需要做得更小、集成度更高，技術難度更大。”