近日,面壁智能正式發布并開源新一代端側文本基座大模型MiniCPM5-1B。海光信息聯合智源研究院眾智FlagOS社區,依托FlagOS統一多芯片軟件棧,第一時間完成該模型的適配與推理部署,實現“發布即支持”。海光DCU在所有測試場景下首Token延遲(TTFT)全面低于NVIDIA H20原生基線,用極致效率達成從云到端的國產算力生態覆蓋。

MiniCPM5-1B以僅1B參數規模,在AA-Index權威榜單上取得17.9的高分,超越Qwen3.5-2B(16.3)等全部 4B 以下開源基座模型,展現出端側模型少有的語言理解與推理能力。眾智FlagOS社區基于vLLM-plugin-FL推理插件和底層算子庫 FlagGems,快速打通MiniCPM5-1B在多款AI芯片上的推理鏈路。海光DCU依托FlagOS統一軟件棧,無需修改業務代碼即完成推理優化,真正做到了模型開源的當天同步可用。
首Token響應全面領先,交互體驗突破
TTFT是衡量大模型交互響應速度的核心指標,數值越低,用戶獲得首次反饋的等待時間越短。經實測,海光DCU在多種并發、上下文長度等嚴苛場景下,TTFT全面低于NVIDIA H20原生部署基線。這意味著在智能客服、實時翻譯、端側助理等對響應速度敏感的應用中,海光平臺可為用戶帶來更流暢、即時的智能體驗,效率追平甚至超越業界主流。
此前,海光DCU已成功支撐DeepSeek系列等千億級云端大模型的高效推理,如今又實現對1B級端側模型的Day0適配。這一“云+端”全場景覆蓋能力,證明了海光DCU與FlagOS統一軟件棧的靈活性與可擴展性,無論大規模數據中心還是輕量化邊緣設備,都能獲得一致的開發體驗與高能效算力。
極簡部署,生態開放
開發者現可通過FlagOS社區獲取相關推理插件與模型鏡像,以極低遷移成本在海光平臺上快速部署MiniCPM5-1B。底層優化自動生效,完全兼容原生接口及工具鏈,大幅縮短從開發到上線的周期。
本次MiniCPM5-1B的閃電適配,是海光信息、眾智FlagOS社區與面壁智能緊密協作的又一成果,標志著國產AI芯片在端側大模型領域已具備與國際主流產品同臺競技的能力。海光將持續參與異構算力協同建設,以高效、安全、可控的算力底座,加速大模型在千行百業的規模化落地。

