曾近距離觀察安藤忠雄工作的秋元雄史說，「安藤先生勇於挑戰，一直在挑戰自己的極限，全力以赴，對自己非常嚴格的一個人。 他以前是職業拳擊手，所以他不只是在腦中設計建築，會想很實際層面的東西，透過他實際的感受做出屬於他的『安藤建築』，真的是一個很厲害的建築師。如果沒有他，就不會有直島現在的這些大型的地景藝術、限地製作的作品。」
安藤忠雄在直島上完成的建築，包括結合旅館和美術館的倍樂生之屋（Benesse House Museum）、地中美術館、南寺、李禹煥美術館、安藤美術館等等。
秋元雄史在專訪中指出，直島計畫主要分為兩個展區，一個是島民居住的聚落小鎮街巷，藝術融入日常的生活風景。
另一個展區，則是比較崇高、彷彿神社一般，那就是地中美術館。
秋元雄史在專訪中指出，直島計畫主要分為兩個展區，一個是島民居住的聚落小鎮街巷，藝術融入日常的生活風景。
另一個展區，則是比較崇高、彷彿神社一般，那就是地中美術館。
「那邊就像是一個你不能輕易冒犯的聖域，和日常生活風景做出一個極端的區別，打造的是一個比較非日常、比較神聖的一個地方，這是那時和安藤先生、與其他工作人員討論出來的結果。而且我想地中美術館對安藤先生來說，也是他的作品當中最融入藝術視角的一個建築作品吧。」
建造地中美術館的原始動機，是為了展示倍樂生新收購的莫內名作《睡蓮》。為了符合「建築、自然和藝術共生」的原則，安藤幾乎把地中美術館本體整個藏在地下，巧妙融入直島的地形。
「這樣從地上長出來，只有內在沒有外觀的建築，對建築師來說是非常困難的。他是以一個藝術家的身份，刻意設計了這樣的美術館，」秋元雄史讚嘆，安藤以他慣用的清水模，巧妙配合光影以及空間，也和其他館內收藏的藝術品做了很好的整體配合。
「很少見到這麼撼動人心的建築，他的作品迥異於一般建築師，不是從工學理論出發，不需要厚厚的牆，是用靈魂在做建築，不是用數字在做建築。」
秋元憶起兩人的對話，笑說，「我都會跟安藤說，你的建築像藝術品，不過安藤先生不太喜歡， 回說『 我是建築師，做的是建築。 』」
