什麼是 AI 爬蟲？

定義

AI 爬蟲是生成式答案引擎背後的擷取層。有些服務即時檢索——引擎在回答時拉取以引用的頁面（Perplexity、具備網路搜尋的 ChatGPT）。有些服務模型訓練——建立模型在依記憶回答時所仰賴的知識。兩種目的很重要，因為允許或封鎖的後果不同：封鎖檢索爬蟲會讓你退出引用；封鎖訓練爬蟲會讓你退出模型累積的知識。

AI 爬蟲 vs Googlebot

Googlebot 為會排名頁面並帶來流量的搜尋索引而生。AI 爬蟲為綜合而生：它們擷取頁面好讓引擎引用、摘要或學習，往往不回傳點擊。實務差異：許多 AI 爬蟲不執行 JavaScript，因此用戶端渲染的內容對它們形同空白；它們抓取較不頻繁、較快放棄；並以需要各自 robots 規則的獨特 user agent 自我識別。

允許、封鎖，或選擇性處理

這是商業決策，不是技術決策。封鎖所有 AI 爬蟲可保護內容，但也讓你完全退出 AI 答案——沒有引用、沒有來自檢索的提及。許多團隊折衷：允許檢索爬蟲（以便被引用），封鎖訓練爬蟲（以免內容被用來改進競品模型）。取捨說明見 Should you block AI crawlers?。

如何檢查 AI 爬蟲能否讀到你

伺服器端渲染、可爬取的頁面是基準。網站稽核 會以 AI 爬蟲的方式擷取你的頁面，並回報阻擋引用的因素：依賴 JavaScript 的內容、被封鎖的機器人、緩慢回應，以及缺少結構。

延伸閱讀

網站稽核 用於檢查可檢索性；Should you block AI crawlers? 提供決策框架；llms.txt 說明為 LLM 爬蟲提出的索引格式。