本刊曾報導，相較於雲端伺服器需要的AI多為英特爾(Intel)、超微(AMD)、輝達(Nvidia)的處理器，邊緣AI如同大腦（雲端）延伸而出的神經系統，透過手機、電腦、行動裝置或5G基地台連網，就能處理緊急或特定需求的訊息，因具「快速、可靠、隱私」3大特性，非常適合有安全考量的電動車自動駕駛與智慧醫療場域；此外，智慧門鎖、人臉辨識、監控森林大火的無人機、送餐機器人，也是常見的應用。
AI晶片從雲端下放到邊緣端需求看好，Markets and Markets報告就指出，2022~2027年全球邊緣AI硬體市場規模年均複合成長率(CAGR)達20.8%，主要成長動能包括物聯網裝置、5G應用、終端裝置影像分析等領域；而軟體部分，2022~2027年全球邊緣AI軟體市場規模CAGR也高達28.9%，主要來自自駕系統、智慧電表、預測性維護、安防監控、智慧城市等新應用。
因應生成AI的崛起，據了解，聯發科近期也將針對支援大語言模型發表處理器新品，事實上，根據聯發科網站，公司早在2021年就推出Transformer模型的APU處理器，並以NeuroPilot平台在手機及其他終端產品廣泛地運用，時間點與耐能第一代支援Transformer的KL530一致。
集邦科技(TrendForce)分析師曾柏楷向本刊分析，邊緣AI未來一定會有越來越多的生成式AI需求，因為LLM並不完全是越來越大的趨勢，而是走一個產業客製、參數夠用就好的方向。
曾柏楷進一步舉例，像高通近期跟Meta合作，雙方預計在智慧手機以及PC上運行LLM(大型語言模型)達到邊雲混合協作，就是一個可預期的商用案例，此外，一些具商業機密如高端智慧製造設備、國防等數據不外流或是完全內網的環境如果要運用生成式AI，同樣是需要邊緣AI的部署，當邊緣AI能越做越多、LLM越來越小，兩者就會出現應用交叉點。
