3月26日消息，谷歌研究院推出全新AI內存壓縮技術TurboQuant，精準破解AI推理的內存瓶頸。

該技術可在不損失精度的前提下，將大語言模型緩存內存占用至少縮減6倍，推理速度最高提升8倍。

AI模型運行時有一種“工作內存”，即KV緩存（Key-Value Cache）。每當模型處理信息、生成回答時，KV緩存便會迅速膨脹，且上下文窗口越長，緩存占用的內存越大。

這已成為制約AI系統效率與成本的核心瓶頸，并非模型不夠智能，而是運行時的內存難以支撐。

TurboQuant采用向量量化的方法對緩存進行壓縮，使AI在占用更少內存的同時記住更多信息，且保持準確性。實現這一效果的關鍵在于兩項技術：名為PolarQuant的量化方法，以及名為QJL的訓練與優化手段。研究團隊計劃在下個月的ICLR 2026會議上正式發布相關成果。

研究團隊在Gemma和Mistral等開源大模型上進行了嚴格的基準測試。實驗數據顯示，TurboQuant無需任何預訓練或微調，即可將鍵值緩存高效壓縮至3比特，在“大海撈針”等長上下文測試中實現零精度損失，內存占用降至原來的六分之一。

此外，在H100 GPU加速器上，4比特TurboQuant的運行速度較未量化的32比特基準提升了高達8倍。

內存需求會降低，還是會帶來更大需求？

針對TurboQuant技術會引發了整個市場對于內存需求斷崖式下跌的擔憂，產業專家與研究機構也給出了截然不同的看法：

富國銀行（Wells Fargo）分析師Andrew Rocha指出：“當context window（上下文窗口）越來越大，KV Cache的爆炸性成長原本是推升內存需求的保證。但TurboQuant正在直接攻擊這條成本曲線，一旦被廣泛采用，數據中心對內存容量的規格要求將被打上大問號?！?/span>

不過，知名投行摩根士丹利（Morgan Stanley）和研究機構Lynx Equity Strategies則給出了截然不同的觀點，

摩根士丹利認為市場可能忽視了“效率提升帶動總量增長”的經濟規律。當AI計算所需的內存成本降低到原本的1/6，這將會使得原本因內存太貴而無法上線的AI應用（如長文本翻譯、復雜代碼生成）需求大規模爆發，反而會填補、甚至超越被壓縮掉的內存缺口。

這就是杰文斯悖論（Jevon's paradox），即當技術進步提高了使用資源的效率（減少任何一種使用所需的數量），但成本降低導致需求增加，令資源消耗的速度不減反增。

摩根士丹利分析師約瑟夫·摩爾（Joseph Moore）及其團隊在周四發布的投資者報告中指出： “有報道稱谷歌的TurboQuant會導致內存使用量減少了到原來的1/6，但這忽略了他們僅僅指的是KV Cache，而不是整體內存使用量。

“值得注意的是，谷歌的 Gemini 3 和 2.5 Pro 模型都擁有 100 萬個Token的上下文窗口，但谷歌曾透露，他們使用 Gemini 1.5 Pro 測試過高達 1000 萬個Token的上下文窗口，并取得了非常好的結果，但由于推理成本較高，他們最終沒有發布該模型，”摩爾說道?！耙虼?，我們預計，隨著此類創新以及其他技術的出現，成本將會降低，這項技術將被用于服務于更智能、計算密集型的產品?！?/span>

摩根士丹利進一步指出，TurboQuant主要優化的是“推理階段”的緩存，并非“訓練階段”的模型權重。因此，對于支撐AI核心訓練的HBM（高頻寬內存）采購邏輯影響相對有限。

相比之下，TurboQuant對手機、筆記本電腦等終端設備的人工智能部署更具意義。由于移動設備的內存有限，這類高效壓縮技術能讓更強大的AI模型在手機端運行，這反而會刺激各類終端裝置進行內存規格的全面換代。

Lynx Equity Strategies 的觀點認為，雖然人工智能提供商需要創新來解決推理中隨著Token上下文長度增加而出現的瓶頸問題，但由于供應限制，這在未來三到五年內并不會減少對內存和閃存的需求。