10 月 27 日消息，高通公司今日發布其新一代數據中心 AI 推理優化解決方案：基于高通 AI200 和 AI250 芯片的加速卡和機架。

高通 AI200 推出一款專為機架級 AI 推理設計的解決方案，旨在提供低擁有總成本（TCO）和優化的性能，用于大型語言和多模態模型（LLM、LMM）推理和其他 AI 工作負載。每張卡支持 768GB 的 LPDDR 內存，以實現更高的內存容量和更低的成本。

高通 AI250 解決方案將采用基于近內存計算（near-memory computing）的創新內存架構，通過提供超過 10 倍的內存帶寬提升和降低功耗，為 AI 推理工作負載帶來更高的效率與性能。

這兩種機架解決方案均采用直接液冷技術以提高散熱效率，支持 PCIe 擴展、以太網擴展、機密計算以保障 AI 工作負載安全，以及 160 kW 的機架級功耗。

高通的超大規模 AI 軟件棧，從應用層到系統軟件層覆蓋端到端，專為 AI 推理進行了優化。該棧支持領先的機器學習（ML）框架、推理引擎、生成式 AI 框架，以及 LLM / LMM 推理優化技術（如解耦合服務）。開發者可借助高通技術的 Efficient Transformers Library 和高通 AI 推理套件，實現模型的平滑上載和 Hugging Face 模型的一鍵部署。高通的軟件提供即用型 AI 應用和代理、全面的工具、庫、API 和服務，用于 AI 的運營。

高通 AI200 和 AI250 預計分別于 2026 年和 2027 年商用。

截至發文，高通公司股價大漲 20%。