2026年3月3日，美光科技（Mciron）宣布通過向客戶發(fā)售業(yè)內最大容量LPDRAM模塊——256GB SOCAMM2樣品，進一步擴大了其在低功耗服務器內存領域的領先地位。這一里程碑得益于業(yè)界首個單體32Gb LPDDR5X設計，代表了AI數據中心的變革性進步，提供低功耗內存容量，解鎖新的系統(tǒng)架構。

當然，人工智能訓練、推理、代理人工智能和通用計算的融合正在推動更高要求的內存需求，并重塑數據中心系統(tǒng)架構?，F代AI工作負載驅動大型模型參數、寬廣的上下文窗口和持久鍵值（KV）緩存，而核心計算則在數據強度、并發(fā)性和內存占用方面持續(xù)擴展。

在這些工作負載中，內存容量、帶寬效率、延遲和能效已成為主要的系統(tǒng)級限制，直接影響性能、可擴展性和總擁有成本。LPDRAM獨特的這些特性組合使其成為AI和核心計算服務器在日益耗電和熱量受限的數據中心環(huán)境中的基石解決方案。美光正與英偉達合作，共同設計滿足先進人工智能基礎設施需求的高端內存。

“美光的256GB SOCAMM2產品，使AI和高性能計算（HPC）都能實現最節(jié)能的CPU附加內存解決方案。今日的宣布凸顯了美光在技術和封裝方面的進步，旨在提供業(yè)內最高容量、最低功耗、體積最小的模塊化內存解決方案，”美光云存儲業(yè)務部高級副總裁兼總經理Raj Narasimhan表示?！拔覀冊跀祿行膽玫凸膬却娼鉀Q方案方面的持續(xù)領先地位，使我們成為首家推出32Gb單片LPDRAM芯片的廠商，助力推動行業(yè)采用更節(jié)能、高容量系統(tǒng)架構?！?/p>

設計目標是容量、能效和工作負載性能優(yōu)化

美光的256GB內存SOCAMM2為多種AI和通用計算工作負載提供更高的內存容量、顯著更低的功耗和更快的性能。

1、AI服務器內存容量擴展：

256GB SOCAMM2 SOCAMM2比之前最高容量192GB多出三分之一，為每個8通道CPU提供2TB的LPDRAM容量，支持更大的上下文窗口和復雜的推理工作負載。

2、更低功耗和更小的空間占用：

SOCAMM2 與同類 RDIMM 相比，占用了三分之一的功耗，同時僅占用三分之一的占地面積，從而提升機架密度并降低總擁有成本。

3、推理和核心計算性能提升：

在統(tǒng)一內存架構中，256GB SOCAMM2在用于KV緩存卸載時，能將首個令牌時間（TTFT）提升超過2.3倍，用于KV緩存卸載。

基于美光內部測試結果顯示，使用Llama3 70B模型（帶FP16量化），使用50萬上下文長度和16名并發(fā)用戶進行實時推理。預計TTFT延遲的改進基于每CPU 2TB LPDRAM延遲0.12秒，而每CPU 1.5TB LPDRAM延遲為0.28秒。即便是面對100萬上下文長度，具有2TB LPDRAM的系統(tǒng)依然可以提供更快的TTFT。

在獨立CPU應用中，LPDRAM在高性能計算工作負載下，每瓦性能比主流內存模塊高出3倍以上。

4、模塊化設計以提升可維修性和可擴展性：

模塊化SOCAMM2設計提升了可維修性，支持液冷服務器架構，并隨著AI和核心計算內存需求的不斷增長，實現未來容量擴展。

“先進的人工智能基礎設施需要在每一層都進行極其優(yōu)化，以最大化性能和效率以應對高負載的人工智能推理工作負載，”英偉達數據中心CPU產品主管伊恩·芬德表示。“美光在實現大容量內存和帶寬方面取得的成就，其功耗低于傳統(tǒng)服務器內存，達成了256GB SOCAMM2，正在推動下一代AI處理器的發(fā)展。”

推動行業(yè)標準并加速低功耗存儲器的普及

美光繼續(xù)在JEDEC SOCAMM2規(guī)范定義中發(fā)揮領導作用，并與系統(tǒng)設計師保持深度技術合作，推動下一代數據中心平臺在全行業(yè)范圍內提升能效和性能。

△美光內部測試顯示，使用256GB LPDRAM模塊的Spark SVM的通用服務器可以實現高達4倍的加速。

美光現已開始發(fā)貨其256GB SOCAMM2的客戶樣品，并提供業(yè)內最廣泛的數據中心LPDRAM產品組合，涵蓋8GB至64GB組件以及48GB至256GB SOCAMM2模塊。