隨著大型語言模型與AI代理加速從雲端走向工作站，越來越多企業有在地端執行代理式AI的需求，華碩宣布推出推論加速卡UGen B70，內建32GB GDDR6 ECC超大容量記憶體、專為推論優化的硬體架構，以直球面對地端AI痛點。
華碩表示，AI工作非常消耗記憶體，例如很長的上下文推理會大幅增加KV快取用量，而多個AI代理同時部署也需要同時執行多個模型、佔用VRAM，一旦容量不足，資料便會卸載至主記憶體，推論效能可能因此只剩原本的10分之1。
也因此，華碩推出推論加速卡UGen B70，採用英特爾Arc Pro繪圖／推論核心，內建32GB、具ECC保護的GDDR6記憶體，可支援市面上大多數參數量在27B以下的模型，將其完整保留於加速卡上，此外，搭配Llama 3.1 8B，還能實現高達128K token的上下文視窗，並透過雙卡64GB或多卡128GB擴充，滿足企業AI部署所需。
【點擊看完整全文】
更多鏡報報導
雲端太貴逼出「Token經濟學」 華碩：RTX Spark筆電完售缺到要配貨
把施振榮AI分身裝進伺服器 安圖斯揪智菩、環球睿視搶企業地端AI大餅
輝達新平台加持！華碩高階AI筆電預購開紅盤 17萬起跳照樣吸客
