小說《夕霧花園》曾入圍英國曼布克獎（Man Booker International Prize）決選，並獲蘇格蘭華特‧史考特歷史小說獎。對於作品改編為電影，該片導演林書宇透露，原著作者陳團英雖然沒有提供建議，但也直接表示又期待又怕受傷害。「畢竟這本小說就像他的小孩一樣，他一直都很忐忑面對這個改編案子。但是他知道電影是另一個媒介，就放手交給我們。」
相較小說，電影濃縮很多、也修改很多，尤其小說裡具有重要意義、且有大篇幅描述的歷史教授吉川一角，更完全捨去。此外，電影裡李心潔飾演的女主角張雲林是姊姊，林宣妤則飾演熱愛日本園林的妹妹張雲紅，還不幸被日軍強徵為慰安婦；但原著相反，張雲林是妹妹、姊姊是張雲紅。林書宇表示，電影情節的取捨，其實很早就確定。在他加入改編團隊時，就先與編劇理查史密斯討論，決定以年輕時代的女主角張雲林（李心潔飾演）與男主角中村有朋（阿部寬飾演）為主線。
「主線出來，我們就知道副線無法太複雜，而且劇情需要一個外在危機。」林書宇指出，「小說很文學，故事的內在危機是女主角將失去記憶，促使她開始回憶、希望留下見證。但電影篇幅有限，如果給一個外在危機，觀眾比較容易接受這個角色，產生同理心。」因此電影裡張艾嘉飾演歷經變動的資深法官張雲林，為了通過大法官審核，必須證明她在日本殖民時期的立場與態度。「這個很直接的審核，成為電影版的危機動力，讓劇情每次回到1980年代都有些進展與追查結果，增加戲劇性。」
小說裡金馬崙高原茶園莊主麥格尼斯有南非背景，但電影版這個由約翰漢納飾演的角色，則改成英國人。林書宇解釋，「作者陳團英想處理這種殖民、被殖民、文化的衝突，所以讓麥格尼斯來自南非、也受過英國迫害，接著又面臨馬來亞的複雜時局。那時我跟編劇討論後，認為觀眾可能對大馬歷史已經夠陌生了，再加入南非跟英國的歷史，更一頭霧水，所以想改成英國人。但我先請教歷史學家50年代南非白人在當地做茶園莊主的可能性多高？歷史學家說，不太可能。當有這個真實性基礎，我就比較理直氣壯決定，他就是英國人！單純一點。」
