更新於 2026-07-06
什麼是 llms.txt?
llms.txt 是一份放在 /llms.txt 的提議純文字檔,列出網站的關鍵頁面及其內容摘要,設計為給 LLM 爬蟲的 markdown 索引——相當於 AI 版的 robots.txt(後者管的是爬蟲存取規則)。它尚非標準;採用仍早,對引用的效果也未獲證實。
定義
llms.txt 位於根路徑 /llms.txt,遵循輕量 markdown 慣例:以標題標示專案或網站名稱、簡短描述,以及站長認為 LLM 最該知道的頁面連結清單。用意是以模型與答案引擎爬蟲原生可解析的格式,提供一份經過策展的網站地圖,而非讓它們從 HTML 自行摸索結構。
llms.txt vs robots.txt
它們解決不同問題,互不取代。robots.txt 告訴爬蟲哪些可以抓、哪些不行——是存取規則。llms.txt 告訴爬蟲哪些頁面最重要、內容是什麼——是內容提示。網站可以兩者皆有:robots.txt 把關存取;llms.txt 排優先順序並標註說明。
llms.txt vs sitemap.xml
兩者都列出頁面,但服務不同消費者。sitemap.xml 是給搜尋引擎索引器的 XML 結構,支援廣泛。llms.txt 是給 LLM 爬蟲的 markdown 結構,新得多。Sitemap 告訴索引器「這些 URL 存在」;llms.txt 告訴 LLM「這些頁面重要,且每頁大致關於什麼」。PilotCite 兩者都會產生——sitemap 與 llms.txt 皆來自同一頁面登錄來源。
llms.txt 能做與不能做的事
能做的:以純文字、經策展、附描述的索引給 LLM 爬蟲,格式只需 markdown 即可解析。不能做的:保證被納入答案、取代可爬取且可引用的頁面,或以任何有文件記載的方式充當排名訊號。它是有用的提示,不是機制。真正決定你是否被引用的,仍是答案優先內容、實體一致性、可爬取性等工作。
- llms.txt 是為 LLM 爬蟲提出的 markdown 索引,尚非已採納標準。
- 它列出並描述關鍵頁面;robots.txt 把關存取,sitemap.xml 列出 URL。
- 採用仍早,對引用的效果未獲證實。
- PilotCite 從與 sitemap 相同的頁面登錄產生 llms.txt。
延伸閱讀
AI 爬蟲 說明 llms.txt 所對應的機器人;How AI search engines choose what to cite 說明真正驅動被納入的因素。