4月29日消息，據(jù)媒體報道，英偉達在官網(wǎng)正式發(fā)布了開放式多模態(tài)模型“Nemotron 3 Nano Omni”。

英偉達表示，新模型將多種功能整合于一個系統(tǒng)之中，使智能體能夠利用視頻、音頻、圖像和文本的高級推理能力，提供更快、更智能的響應(yīng)。

英偉達聲稱，Nemotron 3 Nano Omni以領(lǐng)先的準確性和較低的成本，為開放式多模態(tài)模型樹立了新的效率標桿。在復(fù)雜文檔智能解析、視頻及音頻理解等六大權(quán)威排行榜上，該模型均位居榜首。

據(jù)介紹，Nemotron 3 Nano Omni采用30B-A3B混合專家架構(gòu)，將視覺與音頻編碼器集成于一體，無需額外的感知模型，從而顯著提升了大規(guī)模推理效率。

它不僅效率高，而且擁有強大的多模態(tài)感知精度，使AI系統(tǒng)的吞吐量是其他具有相同交互性的開放式全向模型的9倍。

聲明中提到，已有部分公司率先采用該模型。H Company首席執(zhí)行官Gautier Cloix表示：“基于該模型，我們的智能體可以快速解讀全高清屏幕錄像——這在以前是無法實現(xiàn)的。”他補充道，“這不僅僅是速度上的提升，更是智能體實時感知并與數(shù)字環(huán)境交互方式的根本性轉(zhuǎn)變。”

英偉達表示，在代理系統(tǒng)中，Nemotron 3 Nano Omni可與專有云模型、其他英偉達Nemotron開放模型以及第三方專有模型協(xié)同工作，為代理工作流程中的子代理提供支持。

聲明最后還指出，Nemotron 3系列模型（包括Nano、Super和Ultra型號）在過去一年中的下載量已超過5000萬次。