說自己10年沒進辦公室、已退休的他，把精力放在文物收藏及公益事業，還曾因捐1億元給母校政治大學，入選2010年《富比世》亞洲慈善英雄榜，當年台灣僅4人上榜，其他3位是國泰金控董事長蔡宏圖、陽光電子儀器董事長林宏裕，以及台東賣菜阿嬤陳樹菊。
這幾年，他陸續在台灣大量捐款，捐助對象從學生、警察到身障者皆有，潘思源也重視生態環保，從海龜、藻礁、樹林都是他關心的項目，更有意思的是，2013年受《看見台灣》紀錄片感動，隔年潘思源就捐款400萬元給環保署，做為民眾檢舉企業排放汙染物到河流的獎金。
此外，泰北清邁、清萊一帶，仍有不少當年國共內戰後，滯留在當地的國民黨軍後代，縱使入了泰籍，因不想斷根，仍堅持學華文、寫正體字，潘思源深受感動。因此，他數次飛到泰國，從捐助獎助學金、文具物資，到發現當地建築落後，便再捐新校舍，從動土、施工到驗收，都親自到場，「我是非常堅持做公益不只是給錢，還要給心，要參與了解當地的情況。」
「這幾年我們做的，就是希望泰北清邁受華僑教育的學生能多點教育資源，所以我們主動跟當地學校聯絡，問他們需要什麼？」泛太平洋集團總經理李慶安說。據了解，這些年潘思源捐助物資給清邁、清萊逾60所小學，領取過他獎學金的學生超過300位。
「10年前，我才發現自己好像很有錢。」儘管擁數百億的身家，潘思源的生活卻非常簡樸，說自己1個月開銷才2萬元，「你猜我今天怎麼到機場？自己搭計程車來，才100多元，多好！等下我也這樣回去。」採訪當天的中餐，他也僅簡單吃盤蚵仔煎、魚丸湯解決。他又打趣自己說：「想想不對啊，私人飛機1天就要15萬元，我1個月才花2萬元。」
