15歲移居日本千葉，名字也從荊濤改成矢板明夫，全家都不會說日文，必須上日本語言學校。父親從穿西裝的政協委員，變為鋼鐵工廠的藍領工人，而他則是在日本高校裡，成了語言不通的孤獨少年，上課時往往要聽上十分鐘，才知道在上什麼科目。「滿自卑的，因為在中國，你是一般人，你可以有朋友，也說不定有女孩子喜歡你，你喜歡女孩子也可以去表白，或者跟朋友一起去外面玩。那時得先把日語學好，努力就能看到努力的成果。」
他高中就立志成為政治人物，問他父親是否給予了某種教育與期許？他說一點兒也沒有，父母對這些完全沒有概念，他考上慶應大學，父母也只覺得學費昂貴。「我說這間大學很好呀，這些都是自己來決定。我父母為了家裡，做事很守本分，特別是從上面（的階層）掉下來，也能夠任勞任怨，這一點我覺得很了不起。」父親經歷文革、改革開放，人生大起大落，對中國政治上的抹殺總是擔憂，回到日本，即便身分地位不如在中國，生活上反而安心。
深入文學 找國族認同
他少年時期總是有國族認同的混亂，不知道自己是日本人，還是中國人？他與同為日本在華遺孤的政治評論家石平合著《曾經以為中國最幸福》，2人對談，談自己在日本見識民主制度，知道在中國讚頌領導人給予人民幸福生活是一則謊言，覺得日本政治家了不起，有心從政，而既然想從政，就得解決自己的認同混亂。
他大學就讀文學系，「必須了解日本人的心情、文化、思想的底蘊，這些東西其實都在文學裡面，若不懂，就只能在外邊一知半解，比如中國的儒家思想，什麼是仁？什麼是慎獨？這些概念外國人很難理解。很多東西都存在文學裡面，什麼是武士道？什麼是wabi-sabi（侘寂）？你到文學裡邊去，特別是古文、詩歌，這些東西你不學，生活是探求不到的。」畢業後考入松下政經塾，更是透過看運動比賽，背下所有日本選手的名字，增加親近感，並研究日本的國家問題，才完全解決認同混亂。這讓石平對談時忍不住感嘆：「實在是相當艱鉅的精神鍛鍊吶！」
