「小時候父母離異我非常不能接受，我很埋怨。」提起家庭往事，陳延昶收起插科打諢淡淡地說：「小時候我曾偷看過人家家裡吃晚餐，想著，原來全家人坐在一起聊天、吃晚餐是這樣……」
因母親積欠賭債，父母在他襁褓時離異，為了爭取撫養權，父親選擇背下母親的賭債拚命工作，將他送到親戚家寄養。「我小學一年級就寄人籬下，沒人打我、罵我，但你『目色』就要好，看到人家在整理東西，鼻子摸一摸趕快拿抹布幫忙。」
回想母親的形貌，陳延昶還記得，小時候常有一名女子躲在家附近看他，偶而跑來抱住他，要她記得媽媽的樣子；國中時他輾轉得知母親改嫁到台中，拿著暑假當油漆工的薪水，偷偷搭車南下和母親見面。
「我那時13歲，她煮了一碗麵給我吃，還問我過得好不好？」陳延昶說：「小時候家裡負債又寄人籬下，我心中千言萬語，可是當時卻不知道要說什麼，只能告訴她還不錯。」出社會後，陳延昶還曾見過母親一次，之後因母親搬家，兩人也失去聯繫。
小時候的經歷，讓陳延昶自喻是一匹在荒野求生的孤狼，時時擔心害怕，得不斷掙扎求生存：「我這一生流了很多眼淚，直到長大，我才發現人生哪有十全十美？兩個沒有緣份的人勉強在一起，也不是快樂的事。」
但也因為小時候的經歷，近年陳延昶開始各偏遠地區學校演講，盼能鼓勵學生向上，「我告訴他們，你不要覺得現在窮，我小時候也負債，我爸右手賺錢、左手還錢。你不要覺得你單親、隔代教養，媽的！我也一樣，所以你不要覺得你很可憐就放棄自己。」
此外，陳延昶還在全台認養10多位學生，提供生活費與教育費。「可能我小時候吃了很多苦，看到報紙上有個孩子因為媽媽得癌症被迫中斷大學學業，這很可惜，1個月幾萬元我花得起，我贊助他學費跟生活費，搞不好幾年下來，這個孩子就翻轉他的人生了。」
