提起父親這段過往，潘思源的話匣子就開了，他形容得相當有畫面感，說父親年紀大了，才拿出一個從中國大陸帶來的箱子，「父親跟我介紹說，這是他的名片，這是他跟媽媽的結婚證書，我一看，除了名字對以外，父親的出生年月日統統都是假的。」
「我父親很有意思啊，因為他是知識分子從軍，那個年代會講德文很厲害的，他讀同濟大學機械系，才因此會拆船。」潘思源口中說的情報特務父親，其實就是有「台灣拆船大王」封號的潘孝銳。
1949年，潘孝銳跟著國民政府軍來台後，便定居高雄，育有2子2女，長子潘思源、次子是晶華董事長潘思亮及女兒潘碧珍、潘碧清，潘思源說自己小時家境並不好，到了初中時，父親因為經營拆船業發家，「我家那不叫發直財，而是發橫財了，我父親那時候有一台賓士450，當時全高雄也不過3台賓士。」
談到父親的那台賓士，潘思源也憶起自己那段「少年不經事」的年代，原來，他讀政治大學時，就開著父親送的紅色黑底跑車上學，成為校園裡的風雲人物，「要這樣才夠騷包啊！」
信奉藏傳佛教的潘思源，是噶舉派信徒，只說入密是因緣際會，不可思議的功德，這些年修行頗有心得，就不再多言，他轉口說自己家族佛緣頗深，父親是虔誠的佛教徒，潘父不僅護持佛光山開山，也是國際佛光會監事長，包括美國西來大學的「西來獎學金」也是他發起創辦。
「尤其是我父親那一代，雖然處於苦難中，但有能力和機緣做很多慈善事業，他很不錯，我很高興他活到90歲才辭世。」講到這，潘思源又語氣詼諧地說：「這90歲是真的，雖然身分證上是寫94歲，和實際年齡差4歲，他什麼東西都假的。」
提到父親傳奇的一生，潘思源便陷入回憶中，他提起自己19歲高中畢業時，正是佛光山開山第3年，因不想只當讀書機器，自願到山上吃齋1個月，「我就去看看出家人吃得好不好，睡得好不好，他們的思想怎麼樣。」接著自嘲說：「後來發現這不適合我。」
佛光山星雲大師也曾在書中提及潘孝銳，說他不只是拆船大王，還曾任南豐鋼鐵董事長，也從事建築業，包括台北的台企大樓、萬年大樓、六福客棧等，都是他的作品，還曾創立「祥和基金會」，幫助貧困學子，表示2人相識4、50載，潘孝銳不僅支持佛光山，也在世界各地做公益。
潘思源的太太翁貴瑛則是他在政大的同班同學，據悉，2人育有5名子女，皆在美國接受教育，多數也都留在美國發展。其中，小女兒潘芝儀在父親私人飛機交機日時曾一同登機，才罕見的在媒體曝光。
