同一個網址的一篇文章,AI爬蟲所看到的內容,居然和映入我們眼簾的不一樣?有獨立開發者實測揭露,美國《時代》(TIME)雜誌給人類讀的是完整業面,但AI機器人所見是精簡的Markdown純文字,當中還插有僅它們能看到的業配廣告。
區塊鏈媒體《BlockTempo》於6日報導,獨立開發者Vincent Schmalbach用相同機器反覆抓取《時代》一份健康報導《The Morning Light Habit Sleep Experts Swear By》,每次只修改User-Agent,也就是瀏覽器或爬蟲向網站表明身分的資訊。結果顯示,偽裝成Chrome、Safari,甚至Googlebot,取得的都是同一份303,235 bytes、格式為text/html的完整頁面;但當身分改成ClaudeBot、PerplexityBot,抑或OpenAI的OAI-SearchBot,回傳內容立刻變成text/markdown格式,大小僅剩13,409 bytes,體量僅約人類版本的1/23。
報導指出,AI爬蟲取得的Markdown版本還藏有更多追蹤資訊,包括每次抓取都會產生新的UUID,並搭配「cache-control: no-store」設定,代表機器每讀取一次內容,都可能被視為一次獨立廣告曝光。另外,頁面中的「x-mobian-tokens」欄位,也顯示網站正在依照AI模型讀取的Token數量進行計算。
這套機制由廣告技術公司Mobian協助《時代》打造。當ClaudeBot抓取《時代》雜誌的《Best Inventions of 2025》專題,Schmalbach發現Markdown版本中竟出現完整的Ally Bank問答式廣告,從「Ally Bank是誰」、「哪些銀行提供提前入帳」,到「是否能用現金存款」等問題,都以品牌官方語氣回答,並附上標記為「campaign="ally-2026-q3"」的追蹤連結與結構化資料。
《時代》與Mobian表示,這是出版商首次將廣告直接銷售給AI代理,而非傳統的人類讀者。品牌提出需求後,系統會生成問答式廣告內容,經人工審核確認,再投放至AI搜尋環境,並持續追蹤模型是否引用該內容、回答是否正確,以及品牌曝光效果。目前Ally Bank與PMI已成為首批合作品牌,《時代》也因每頁Markdown僅放置一則廣告,向品牌收取更高費用。
不過,這並非傳統意義上的隱藏廣告,因為Markdown版本中的業配內容仍標示「sponsored」。《時代》網站多了一層專門提供給AI閱讀的內容,人類讀者既不知道它存在,也無法得知AI實際接收到哪些資訊。Googlebot取得的仍是與一般使用者相同的完整HTML頁面,只有負責回答問題的AI助理爬蟲,會被導向另一套Markdown內容。隨著AI逐漸成為網路重要流量來源,Cloudflare統計顯示,目前全球超過一半網路流量已來自各類機器人;《時代》也透露,多數日子裡AI爬蟲流量已超越真人讀者。網頁究竟該寫給人看,還是寫給AI看,正成為當今新課題。
三立新聞網提醒您:
內容僅供參考,投資人於決策時應審慎評估風險,並就投資結果自行負責。
投資一定有風險,基金投資有賺有賠,申購前應詳閱公開說明書。
更多三立新聞網報導
. 川湖公布財報 半年狂賺11個股本! 逆勢狂飆榮登萬金股
. 不只OpenAI!Meta曝:自家AI模型也駭入其他公司
. Meta推出AI編碼代理!「1策略」對決OpenAI Codex
. 四貸同堂玩台股槓桿!銀行點名「2大查核死角」:恐衍生授信風險