生成式AI從模型開發邁向大規模部署,功耗與營運成本成為雲端業者關鍵考驗。高通技術公司17日宣布,攜手雲端服務商Cirrascale Cloud Services,將新一代機架級AI推論解決方案Qualcomm Dragonfly AI200,透過Cirrascale旗下AI Innovation Cloud開放特定客戶評估,讓企業能以自身工作負載測試並推進正式推論部署。
電力成本成瓶頸 單卡搭768GB記憶體
Qualcomm Dragonfly AI200每張加速卡支援768GB LPDDR記憶體,專為兆級參數基礎模型推論設計,並整合直接液冷、PCIe向上擴充、乙太網路向外擴展及機密運算技術。高通技術公司執行副總裁暨資料中心部門總經理Tony Pialis表示,AI推論正成為資料中心最大運算負載之一,新架構將低功耗優勢延伸至機架級設施,強化每瓦效能與總體擁有成本表現。
傳輸費墊高成本 雲端推固定費率模式
Cirrascale同步提供專用AI雲端託管環境與概念驗證支援,採用固定費率計價且不收取資料傳入或傳出費用。Cirrascale執行長Dave Driggers指出,AI整體經濟效益日益取決於推論階段的成本與效率,透過與高通合作,客戶可實際評估兼具效率與擴展能力的全新架構,避免電力與營運成本成為發展瓶頸。
算力競賽轉向部署 低功耗推論成焦點
雙方於17日至18日芝加哥SC26大會展示該方案,高通工程資深副總裁Rashid Attar亦與Meta及imec代表探討近記憶體運算前景。從全球AI資料中心板塊與資本支出動向觀察,隨著雲端大廠加速推進商業推論落地,市場高度檢視每瓦效能與總體擁有成本,具備大容量記憶體與直接液冷的高能效機架方案,正成為算力基建布局新焦點。
更多三立新聞網報導
. 台積宣布了 供應鏈論壇台廠這7家被點讚
. 緊追0050腳步! 「這檔」同追蹤台灣50指數 啟動分割1拆8今最後買進日
. EPS1.73元 前三季稅後純益年增50倍!這面板大廠卻慘遭投顧下修財測
. 普發1萬年前入帳!財長證實:拼1月5日前完成三讀 這日就能領