吳清友出生台南將軍區平沙里，舊稱「馬沙溝」的小漁村。一家共有9位兄弟姊妹，他在5位男孩中排行第四，從小受到父親吳寅卯的嚴格教養。生長於日據時代的吳寅卯，讀到高等科畢業，是鄉里中難得精通日文、漢文的人才，曾經擔任過國小老師，後來也務農，擁有大片農田與魚塭。
據了解，當地的信仰中心李聖宮，四十多年前就是由吳寅卯登高一呼重新翻修，他也成了第一屆主委。吳寅卯為人善心，經常在大旱時開放自家水井供鄰人取用，「老一輩的人大多喝過吳家的井水！」
「在馬沙溝，談到吳老先生（吳清友父親），大家都是非常敬重的！」同是馬沙溝人的頂鮮一○一董事長周文保說，吳寅卯平時也在李聖宮開起私塾，免費教導鄉人與貧童識字。
吳清友喜歡閱讀的習慣承襲自父親。只是當年愛看課外書的吳清友，成績不太好。吳寅卯只准他填一個志願，就是吳清友哥哥們就讀的「台南第一高級中學」，自認考不上的吳清友轉而報考「台南高級工業職業學校機械科」。
吳清友位於平沙里的祖厝，就在敬拜南鯤鯓的李聖宮對面，一旁緊鄰著一家「榮原中藥房」。現在吳家祖厝已經改建為可以橫停2、3輛轎車的平面停車場，鄰居笑說身高188公分的吳清友，從小就高人一等，大家都喚他「長腳友」（台語）。在長輩心目中，吳清友頭腦聰明，放學後會幫忙農事，頗受疼愛。
但吳清友卻因為打架，常被警察關切，鄰居說：「其實小時候，他也沒有壞到哪裡去，只是他這個人比較重義氣，雖然不愛打架，但一看到朋友被欺負，就忍不住出手相救啦！」後來吳寅卯為了收斂吳清友的心性，要他到佛寺去靜修打禪。台南關仔嶺、旗山月世界的佛寺中，高職三年每逢寒暑假都有他短期靜居的身影。從此，吳清友變得穩重了，也在心中埋下敬仰弘一大師(佛教的宗師)，以及習於思索生命哲學的種子。
高職畢業後，吳清友為了考二技到補習班苦讀，前後考了3次才拚上台北工專（現為台北科技大學）。也就在此時，他參加活動認識了太太洪肅賢，對她一見鍾情、展開追求。
