因為唐飛內閣施政的理念與剛勝選的扁政府有太大的差距，當閣揆改由副院長張俊雄接任後，還遭到陳水扁以「搬開路上的大石頭」來暗喻唐飛得去職，去年接受媒體專訪時回首這一段過程，他還提到：「不後悔當時出任民進黨政府的閣揆，如果那時候不生病、初衷不變、場景不變，國際局勢如此，仍會願意為國家再走一趟！」展現十足的軍人愛國情操。
辭去閣揆後，唐飛裸退僅有無給職資政，還以近70歲高齡到美國哈佛大學唸書，旅美7年後才回台，偶爾還是關心時事，並在2007與王文洋等人成立台灣前途展望協會，並親自擔任理事長針對當時的政黨惡鬥發表看法。
因為軍人出身，在洪仲丘案爆發時，唐飛也接受電視媒體專訪，警告國防部應該要檢討，尤其是軍法審判沒有完全獨立處理，給社會惡劣的印象，去年下半年也還接受平面媒體專訪，談起16年前被當成石頭的往事，以及對近年國軍形象的看法。
