7月27日消息,據外媒Wccftech援引廣發證券(GF Securities)的分析報道稱,英偉達公司正在大幅減少其Vera Rubin NV72機架級AI系統的內存使用量,以應對持續的內存短缺和價格上漲問題。
英偉達的Vera Rubin NVL72機架系統是全球性能最頂尖的AI計算平臺之一。該系統于今年1月發布,其首批性能數據在本月初由CoreWeave共享不同AI系統的吞吐量數據后首次浮出水面。結果顯示,在處理混合專家(MoE)模型工作負載時,搭載英偉達Blackwell AI GPU的系統在150兆瓦功耗下可實現每秒8萬token的吞吐量;而全新的VR200 NVL72 Vera Rubin平臺則將這一數值提升了10倍,達到每秒80萬token。

這一結果出爐之前,伯恩斯坦(Bernstein)早前的一份報告曾指出,單臺NVL72 Rubin機架的成本可能高達910萬美元,主要原因在于內存價格走高。伯恩斯坦表示,此前有關該機架成本為780萬美元的估算,是基于過時的內存價格預測得出的。該金融機構進一步指出,HBM4內存的價格在2027年可能上漲至53美元/GB。
近日,廣發證券的一份報告顯示,英偉達正在進行調整,以應對內存市場的供應和價格壓力。該報告認為,從Vera Rubin NVL72機架開始,英偉達將把該機架的SOCAMM(小型壓縮附加內存模塊)容量減半,從原先的192GB模塊降至96GB。這些調整是為了應對LPDDR5X市場的供應緊張局面。
同樣地,Vera CPU配套的內存將從原先的54至55TB縮減至28TB,而GPU方面每機架將繼續保留20.7TB的HBM4內存。至于CPU機架的SOCAMM,該分析機構認為也將采用每顆CPU配96GB SOCAMM的方案。
這些決策在財務層面的影響在于:如果容量降至原先的四分之一,VR200的LPDDR5X成本可低至29.3萬美元;如果降至二分之一,則可降至58.6萬美元,從而不會觸及此前120萬美元的預估高位。廣發證券補充稱,若不做調整,內存成本在VR200系統總物料清單成本中的占比將達到29%,對應210萬美元,這一比例高于20%的合理水平。

