您可以將任意數量的網站地圖新增到

muhammad166152@

但是，它仍然對您的網站地圖有好處，因為它可以告訴其他搜尋引擎（例如 Bing）在哪裡可以找到您的網站地圖。 您不需要為每個使用者代理程式多次重複網站地圖指令。 因此，它不會僅適用於其中之一。 因此，將網站地圖指令包含在 robots.txt 檔案的開頭或結尾會對您更有利。例如; 網站地圖：用者代理程式：GooglebotDisallow：/blog/Allow：/blog/post-title/ 使用者代理：BingbotDisallow：/services/ 與 Ask、Bing 和 Yahoo 一樣，Google 也支援網站地圖指令。


快速說明： robots.txt 檔案中。 不支援的指令 在這裡，您可以找到一些 Google 不再支援且從技術上講從未支援過的指南。 爬行延遲 以前，您可以使用此指令以秒為單位執行掃描延遲。例如，如果您希望 Googlebot 在每次抓取後等待 5 秒，則可以如下設定 南非 電話號碼 抓取延遲指令： 用戶代理：Googlebot抓取延遲：5 然而，與 Bing 和 Yandex 不同，Google 不再支援該指令。 此外，設定此指令時應小心，特別是如果您有一個大型網站。如果您將爬網延遲設定為 5 秒，則機器人每天最多爬網 17,280 次。



如果您有數百萬個頁面，這不是很有用，但如果您有一個小型網站，則可以透過此流程節省頻寬。 無索引 該指令從未得到 Google 的正式支援。 但直到最近，人們還認為 Google 擁有處理不受支援和未發布的規則（例如Noindex）的程式碼。 因此，如果您想阻止 Google 將您部落格上的所有文章編入索引，您可以使用下面列出的指南。 用戶代理：GooglebotNoindex：/blog/ 不過，2019 年 9 月 1 日，Google澄清了這個問題，表示其不支持該指令。 如果您想從搜尋引擎中刪除頁面或文件，您可以使用 Meta Robot 標籤或 X-Robots HTTP 標頭。