謝賢曾在節目中透露，自己這輩子有五個女朋友、兩個老婆，但婚姻均未圓滿。他將失敗歸因於伴侶主動結束關系，否認自身不專一，並強調夫妻相處需要學問與經營。
謝賢的初戀是粵語片女星嘉玲，兩人長跑12年，最後因他不願收心結婚而畫下句點；隨後他與巨星蕭芳芳短暫交往，卻因對方勸他「多讀書」、他只想「玩個夠」而因理念不合和平分手。後來蕭芳芳憑《女人四十》抱走金像獎影後，甚至是由謝賢親手頒獎，展現大方風度。
謝賢的第一任妻子是台灣「第一玉女」甄珍，他苦追四年才抱得美人歸，可惜這段婚姻僅維持兩年便因現實壓力與劉家昌介入告吹。多年後兩人在影展重逢，謝賢仍能深情表白「會永遠愛她」。
第二任妻子則是港姐狄波拉，當年謝賢出動八輛勞斯萊斯舉辦盛大婚禮，婚後育有謝霆鋒與謝婷婷。這段婚姻走過16個年頭，最終仍因性格問題畫下句點。兩人離婚時相擁而泣，分手的體面程度簡直是演藝圈典範，甚至連狄波拉與甄珍碰面都能相談甚歡。
謝賢最轟動的情史，莫過於69歲時在蘭桂坊結識小他49歲的Coco。這段「爺孫戀」一談就是12年，謝賢對嫩妹寵愛有加，不僅支持她投資、買金條為她做資產保障，還送她去英國留學開眼界。甚至在Coco投資失利時，謝賢不惜賣掉兒子謝霆鋒送的勞斯萊斯幫她補窟窿。
直到82歲那年，謝賢因爬山體力透支深感歲月不饒人，加上Coco渴望生兒育女，早已結扎的他決定放手。謝賢用極具紳士風度的方式引導女方重返社交圈，最後一餐深情擁抱告別，祝福她找個優秀的同齡人。這段傳奇情史告終後，兩人依然保持聯絡，謝賢甚至交代Coco「交新男朋友一定要帶給我看」，就怕她上當受騙。貫徹了他「男人可以風流，但不能下流」的人生哲學。
