系統效能、高效的基礎設施擴展能力，以及持續的軟體最佳化，是決定人工智慧推論經濟效益的關鍵因素。更高的系統效能代表能夠生成更多詞元，從而帶來更高營收。高效的擴展能力代表隨著硬體增加，輸送量也能成比例成長，以更少資源大規模服務使用者。持續最佳化則代表能從基礎設施投資中創造更多價值。這三者的基礎在於平台通用性。同一套基礎設施可執行任何模型與工作負載，從訓練到推論、從推薦到推理，以及從語言到影片處理，皆能維持高利用率。NVIDIA平台專為全面最佳化上述能力而打造，今日公布的MLPerf Inference v6.1結果便充分展現這點，NVIDIA Vera Rubin NVL72系統首度亮相即展現領先效能，在首次預覽測試結果中，其輸送量較GB300 NVL72提升高達3.7倍。
NVIDIA GB300 NVL72亦展現領先的擴展效率，一項橫跨四座機架、共使用288顆GPU的測試配置，達成99%的擴展效率，其輸送量相較單一機架基準近乎呈現線性成長。NVIDIA在提交結果中的軟體最佳化相較於v6.0版本效能最高提升1.6倍，v6.1提交截止後，最佳化工作仍持續進行進一步帶來效能提升。對於正在評估AI基礎設施決策的組織而言，效能、擴展效率與軟體速度，都是決定長期推論經濟效益的重要考量因素。
NVIDIA針對MLPerf Inference v6.1測試套件中兩項最具挑戰性的基準測試DeepSeek-R1與Qwen3-VL，提交Vera Rubin NVL72的預覽測試結果。在離線、伺服器及互動情境下採用vLLM與Dynamo開源推論框架，在Qwen3-VL上的輸送量最高達GB300 NVL72的3.7倍；在DeepSeek-R1上採用TensorRT-LLM函式庫的輸送量則最高達2.5倍。
這些成果反映硬體與軟體的全端協同設計，增強的Tensor Core與Transformer Engine可加速推論的預填充與解碼階段，而NVFP4精度則能降低模型權重、注意力與KV快取的記憶體占用量，在幾乎不犧牲輸出品質的情況下提高輸送量。提交結果大量採用分離式服務，將預填充與解碼分開處理，並搭配大規模專家平行化，讓驅動模型的混合專家層達到最高效率。
NVL72垂直擴展網域採用第六代NVLink與NVLink Switch，相較現成乙太網路可提供高達10倍的封包速率，並將延遲降低3倍，建立互連基礎讓這些技術能在機架規模下有效運作。這項協同設計更延伸至生態系，Nebius同樣提交預覽測試結果並展現出卓越效能。在旨在反映AI代理轉變的AgentX等基準測試中，Vera Rubin NVL72於預覽測試的效能達GB300 NVL72的30倍。
擴展效率是衡量新增GPU能如何有效轉化為輸送量成長的指標，也是評估AI基礎設施生產力的關鍵標準。NVIDIA透過各機架內具備高頻寬與低延遲的垂直擴展互連、機架之間的高頻寬網路，以及跨節點的高效協調請求實現這項能力。DeepSeek-R1提交結果從單座機架的72顆GPU，擴展至四座機架的288顆GPU，並在離線情境中達到99%的擴展效率，輸送量幾乎與增加的硬體數量成比例成長。
GB300 NVL72亦在文字轉影片基準測試中展現機架規模效率，達到每秒生成0.65部720p影片，每部影片生成時間為5.7秒，輸送量達單一節點的9倍，延遲則降低7.5倍。NVIDIA平台持續進行軟體開發，在v6.1中GB300 NVL72於Qwen3-VL的效能最高達v6.0結果的1.6倍。NVIDIA合作夥伴生態系廣泛參與此次測試，共有19家合作夥伴展現出色效能，其中8家更採用多節點系統。參與夥伴包括華碩、Azure、思科、CoreWeave、Crusoe、戴爾科技集團、富士通、技鋼科技、慧與科技、英業達、Lambda、神雲科技、Nebius、Oracle Cloud Infrastructure、雲達科技、Red Hat、ScitiX、美超微與緯穎。從精巧的邊緣裝置到規模最大的AI工廠，NVIDIA持續在整個技術堆疊推進效能。
更多三立新聞網報導
． 買盤進駐低軌衛星 進補台廠10檔
． 美衛星入國防 進補台廠10檔
． 載板族群落難 資金奔赴群創、友達原因曝
． 這天去登記婚假14天 薪水這樣領
