不過，當紀念圖書館規劃完成，確定落腳新北市淡水區時，卻因政論節目抨擊新北市府以超低租金圖利李登輝，讓李憤而決定放棄籌建，成為李晚年遺憾。
李登輝紀念圖書館籌建過程可說一波三折，李登輝基金會祕書長王燕軍說，李卸任後不斷有人建議籌建總統紀念圖書館，但因財源、土地等種種因素不斷延宕，他2010年到任後將籌建圖書館列為基金會主要目標，也獲李支持。
王燕軍說，因李登輝從小成長、求學都在淡水地區，因此基金會才希望能在淡水興建李登輝圖書館。
尋找財源過程也發生一段波折，李登輝原想從他1996年總統選舉結餘款成立的李連教育基金會基金用來籌備圖書館，2012年中卻傳出該基金會當時董事長、台聯黨主席黃昆輝將經費挪去投資股票失利，餘額只剩5千多萬元，雖黃對外宣稱是受大環境影響，李也因此與被視為子弟兵的黃關係漸行漸遠。
2015年初，因政論節目主持人彭文正質疑新北市長朱立倫以前4年興建期僅需1元超低租金，涉嫌圖利李登輝，李憤而召集董事會決議放棄籌建，並公開聲明：「民主無須紀念，只須使其永久流傳。」
