告別AI代理支離破碎！輝達多模態新模型效率噴發9倍　鴻海搶著用、甲骨文也動心評估

輝達宣布發表開放式多模態AI模型Nemotron 3 Nano Omni，可整合視覺、音訊與語言，讓AI代理效率最高提升9倍，輝達表示，這個模型在複雜的文件智慧、影片理解與音訊理解等6項測試中，成績名列前茅，台灣業者中鴻海已經採用，美國AI軍工大廠Palantir也導入，戴爾、甲骨文都在評估採用中。

輝達以客服AI代理為例，它需要處理螢幕錄影、分析上傳的通話音訊，並同時檢查資料記錄，金融領域的AI代理則可能需要解析PDF、試算表、圖表與語音備忘錄，目前多數代理型系統會透過分別針對視覺、語音和語言的獨立模型來完成這些任務，然而，這種做法會因為反覆推論而增加延遲，導致跨模態的情境支離破碎，並隨時間推移增加成本與誤差。

輝達Nemotron 3 Nano Omni 在其 30B-A3B 混合式的混合專家架構中整合視覺與音訊編碼器，因此不再需要獨立的感知模型，從而大幅提升推論效率。該模型讓AI系統在具備相同互動性的情況下，達到比其他開放式全模態模型高9倍的資料輸送量，可以在不犧牲回應速度與品質的同時，降低成本並提升可擴展性。