早婚的他共生了3個女兒，老大已經讀大學，老么還是小學生。由於吳的家世背景好，加上個性溫文儒雅，講話慢條斯理，甚至有點結巴，反而讓身邊女性認為吳很老實。
但吳當了11年議員，緋聞從沒斷過，包括曾任台北市議員的現任立委吳思瑤、張姓紅粉知己，如今連議員李婉鈺都與他傳出戀情。
2009年2月，吳志剛被媒體直擊，與當時同為台北市議員的吳思瑤，在吳志剛車上「靠頭倚偎、親密互動、貼臉倚肩」，但2人皆否認交往。
今年1月，吳志剛被媒體直擊，與曾任櫃姐的張姓女子過從甚密，2人不但常一起吃飯、逛街，吳甚至深夜前往張女住處。吳及張女皆未回應。
