2005年被認為是屏東縣長藍軍最具勝算的一役，蔡豪卻硬是推出時任屏東市民代表的妻子宋麗華加入戰局，並喊出「棄王（進士）保宋（麗華）」，最後使得立委轉戰縣長的王進士以不到2萬票差距飲恨，引爆深藍陣營反彈。
蔡豪歷經此役猶如七傷拳，「傷敵七分，自損三分」，宋麗華落選後，泛藍人士也為此跟蔡豪劃清關係。2007年力霸爆發掏空和超貸案，王又曾棄保潛逃美國，王令麟捲入其中搞得焦頭爛額、自顧不暇，這時蔡豪的財務狀況亦遭影響，如日中天的盛勢轉瞬成江河日下。
一位地方政壇耆老說：「終結蔡豪政治生命的是2008年的立委改選，當時他迎戰實力雄厚的現任立法院長蘇嘉全姪子、民進黨提名的蘇震清，外界盛傳蔡豪已彈盡援絕，但他依然鬥志旺盛，誰知選戰打到最後，就在投票前夕，蔡豪的服務處卻大門深鎖、屋內一片黑暗，透露出大勢已去，更糟的是連任失敗還被查出涉嫌以每票500元買票，最後判刑確定入監服刑。」
