財經理財
2023.08.15 23:14 臺北時間

【新創尖兵叫板輝達1】耐能推輕量級生成AI晶片攻邊緣運算 電子大咖站台拉高聲勢

耐能科技新品發表會現場貴賓冠蓋雲集,行政院副院長鄭文燦、前科技部部長陳良基、台積電、研華、鴻海等高管、欣興、久元等董座都到場祝賀。
耐能科技新品發表會現場貴賓冠蓋雲集,行政院副院長鄭文燦、前科技部部長陳良基、台積電、研華、鴻海等高管、欣興、久元等董座都到場祝賀。
日前獲鴻海加碼投資的AI晶片新創──耐能科技今(15)日舉行新品發表會,發佈一款可支援輕量級生成式AI(Nano GPT)的類神經網路(NPU)晶片KL730,因為可做機器視覺又能進行語意分析,打破過去邊緣運算在專用處理器晶片多僅能做影像辨識而有所突破,不但行政院副院長鄭文燦親自站台,現場來賓更是冠蓋雲集,包括鴻海資訊長龔培元、台積電資深業務經理楊東疆、欣興電子董事長曾子章、威剛董事長陳立白、久元董事長汪秉龍,以及南亞科、研華等高管都到場一睹為快。
成立於2015年的耐能總部位於美國,一直以邊緣運算所需的類神經網路晶片為產品主力,這種邊緣運算所需的專用處理晶片,如同大腦(雲端)延伸而出的神經系統,大多透過手機、電腦、行動裝置或5G基地台連網,就能處理緊急或特定需求的訊息,因具「快速、可靠、隱私」三大特性,非常適合有安全考量的應用領域,像電動車自動駕駛與智慧醫療場域;此外,智慧門鎖、人臉辨識、監控森林大火的無人機、送餐機器人,也是常見的應用。
隨著生成AI崛起,這次的新品擴大到可支援nanoGPT的語言模型,公司以邊緣運算AI新革命做比喻,執行長劉峻誠在現場更興奮地展示用這顆晶片只需個別約15分鐘,就能生成出四個可年輕、可老派會說台、日語等的虛擬分身,更直言比起輝達(Nvidia)創辦人黃仁勳耗時3、4個月在發表會打造的虛擬分身,時間上明顯縮短,PK意味相當濃厚。
「GPT已不是一般公司可負擔的投資,真正為AI而生的應該是NPU,如此才能有效解決高成本問題並加速普及。」生成式AI帶動雲端服務業者大舉投資AI伺服器,然其所需的通用處理器晶片目前由輝達高佔9成,效能強大卻也高貴,劉峻誠認為,耐能這款新品,可以幫助企業降低導入生成式AI的訓練成本,此外,被訓練的資料不需放在雲端而在邊端(Edge)執行,隱私安全更能獲得保護,加上傳輸運算速度比上雲還快,更能解決大型資料中心帶來的耗電問題,這三大痛點,也是他信心看待需求面可與輝達一較上下的原因。
劉峻誠並透露,早在2021年,耐能就因應日系與德系車廠的需求,推出過第一代支持Transformer的處理器晶片KL530,然而,「當時並不知道大語言模型的應用會開展成這麼大。」但兩年後的今日拐點已到,ChatGPT問世刺激生成式AI大量需求,他看到客戶從過去的被動教育轉為主動詢問,因此,KL730不但在效能上做了有效提升,還擴大支援最先進輕量級 GPT 大型語言模型的nanoGPT,讓一般中小企業可負擔,加速AI普及。
談及KL730有何應用,劉峻誠表示,KL730的定位主要放在企業邊緣伺服器、智慧家居、汽車輔助駕駛(ADAS)與互聯網(AIOT)等四大場景,公司也強調,工程師也能依此來生成新的半導體晶片,無需與大型雲端公司營運的資料中心共用機密數據。
資料顯示,比起ChatGPT使用的GTP-3語言模型,NanoGPT是特斯拉(Tesla)前AI總監今年初才發布的中小型語言模型,即使參數量沒有GPT-3大,要提供38小时訓練,仍得包含Nvidia8顆A100、每顆A100搭40GBHBM記憶體的規格,一名在場參觀的業者因此指出,耐能KL730雖可支援nanoGPT,若要穩定的完成運算,算力的配合也是關鍵。
更新時間|2023.09.12 20:47 臺北時間

支持鏡週刊

小心意大意義
小額贊助鏡週刊!

每月 $79 元全站看到飽
暢享無廣告閱讀體驗

延伸閱讀

更多內容,歡迎 鏡週刊紙本雜誌鏡週刊數位訂閱了解內容授權資訊

月費、年費會員免費線上閱讀動態雜誌

線上閱讀

更多內容,歡迎 鏡週刊紙本雜誌鏡週刊數位訂閱了解內容授權資訊

月費、年費會員免費線上閱讀動態雜誌

線上閱讀