張栢芝與謝霆鋒離婚後曾帶著2個兒子Lucas與Quintus移居新加坡，但後來還是返回香港居住，謝賢曾誇讚她將孫子帶得很好，Lucas曾考進新加坡名校就讀，Quintus也彈得一手好鋼琴。當時曾傳張栢芝不讓謝賢探望孫子，謝賢更闢謠「她不會不讓2個小孩去霆鋒那，我都是去霆鋒那看孫子。」還透露頻率有時2週一次，有時1週一次。
不過謝賢與狄波拉連袂出席兒子謝霆鋒新片《怒火》首映時卻透露，除了已很久沒見到謝霆鋒外，也久未見到孫子，甚至已不記得上次見到Lucas與Quintus是什麼時候，「很怕他們忘記我是誰」。
隨著張栢芝因《乘風破浪的姐姐2》人氣反彈，她也將事業重心移往中國大陸，還在綜藝中打電話給Lucas表示已為他們在當地找好學校，準備讓他們轉來此就讀，問Lucas要不要來看看？雖然被Lucas當場拒絕，但兄弟倆跟著媽媽香港大陸兩邊跑，加上謝霆鋒也多半待在大陸，謝賢能見到孫子的機會確實比以前少得多。
