AI進入「賺錢階段」！CSP砸錢拚變現　推論算力暴衝122%

CSP能從AI推論能賺多少錢，很大程度取決於AI模型的領先程度與推論的速度，市調機構TrendForce表示，北美五大CSP今年對於整機櫃模式的採購意願明顯提高，不僅全球AI伺服器機櫃出貨量將比去年成長近3成、五大CSP也買走全球60％以上輝達GB／VR平台機櫃，而五大CSP業者總AI訓練算力因此將比去年成長56％以上、總AI推論算力年成長高達122％左右。

輝達2023年推出整機櫃模式的Grace Hopper 200之前，AI伺服器並不流行機櫃，不過整機櫃在傳輸速度、算力、甚至是散熱效率都有優勢下，TrendForce認為，今年AI伺服器機櫃出貨量將年增28％以上。

TrendForce指出，現階段AI伺服器機櫃仍以應用在高階AI訓練為主力、佔AI伺服器機櫃總出貨量55％，不過，CSP斥鉅資投入AI訓練多年後，現在開始積極推動AI推論服務以便變現，中長期AI伺服器機櫃出貨量主流應用將不再是訓練、而是推論，另外，輝達也將拓展更多AI推論使用情境，今年主力AI伺服器機櫃GB／VR系統除AI訓練用途外，也特別強調GB、VR都可支援AI推論所需算力。