SEO 教學技術面 SEO robots.txt 怎麼設定？如何禁止搜尋引擎爬取網站？2024 教學 by 貓熊先生 2021 年 11 月 19 日 2021 年 11 月 19 日 robots.txt 的主要功用在於，告訴搜尋引擎某個頁面是否應該爬取？當你在你的網站上加入 robots.txt 這個檔案，你就可以告訴搜尋引擎（例：Google 搜尋引擎），網站上哪些網址是可以爬 …