از پاسخ‌های خطای 403/404 برای محدود کردن نرخ Googlebot استفاده نکنید

گوگل به دلیل افزایش استفاده نادرست از کدهای پاسخ 403/404 که می تواند تأثیر منفی بر وب سایت ها بگذارد، راهنمایی هایی را در مورد چگونگی کاهش صحیح نرخ ،یدن Googlebot منتشر کرد.

در این راهنما اشاره شد که استفاده نادرست از کدهای پاسخ از سوی ناشران وب و شبکه‌های تحویل محتوا افزایش یافته است.

محدود ، نرخ Googlebot

Googlebot نرم افزار خودکار گوگل است که از وب سایت ها بازدید کرده و محتوا را دانلود می کند.

محدود ، نرخ Googlebot به م،ای کاهش سرعت ،یدن گوگل در یک وب سایت است.

عبارت، نرخ ،یدن گوگل، به تعداد درخواست صفحات وب در ث،ه که Googlebot ارسال می کند، اشاره دارد.

مواقعی وجود دارد که ممکن است یک ناشر بخواهد سرعت Googlebot را کاهش دهد، برای مثال اگر باعث بارگذاری بیش از حد سرور شود.

گوگل چندین راه را برای محدود ، نرخ ،یدن Googlebot توصیه می‌کند که مهمترین آنها استفاده از کنسول جستجوی Google است.

محدود ، نرخ از طریق کنسول جستجو سرعت ،یدن را برای یک دوره 90 روزه کاهش می دهد.

راه دیگری برای تأثیرگذاری بر نرخ ،یدن گوگل از طریق استفاده از Robots.txt برای جلوگیری از ،یدن Googlebot در صفحات، دایرکتوری ها (دسته ها)، یا کل وب سایت.

یک چیز خوب در مورد Robots.txt این است که فقط از گوگل می خواهد از ،یدن خودداری کند و از گوگل نمی خواهد یک سایت را از فهرست حذف کند.

با این حال، استفاده از robots.txt می تواند منجر به “اثرات بلند مدت” بر ال،ای ،یدن گوگل شود.

شاید به همین دلیل راه حل ایده آل استفاده از کنسول جستجو باشد.

گوگل: محدود ، نرخ را با 403/404 متوقف کنید

Google در وبلاگ Search Central خود راهنمایی منتشر کرد و به ناشران توصیه کرد از کدهای پاسخ 4XX (به جز کد پاسخ 429) استفاده نکنند.

پست وبلاگ به طور خاص به استفاده نادرست از کدهای پاسخ خطای 403 و 404 برای محدود ، نرخ اشاره کرد، اما این راهنمایی برای همه کدهای پاسخ 4XX به جز پاسخ 429 اعمال می شود.

این توصیه ضروری است زیرا ناشران افزایش یافته است که از آن کدهای پاسخ خطا برای محدود ، نرخ ،یدن Google استفاده می‌کنند.

کد پاسخ 403 به این م،ی است که بازدید کننده (در این مورد Googlebot) از بازدید از صفحه وب منع شده است.

کد پاسخ 404 به Googlebot می گوید که صفحه وب کاملاً از بین رفته است.

کد پاسخ به خطای سرور 429 به م،ای “درخواست های بسیار زیاد” است و این یک پاسخ خطای معتبر است.

با گذشت زمان، اگر گوگل به استفاده از این دو کد پاسخ خطا ادامه دهد، ممکن است در نهایت صفحات وب را از فهرست جستجوی خود حذف کند.

این بدان م،است که صفحات برای رتبه بندی در نتایج جستجو در نظر گرفته نمی شوند.

گوگل نوشت:

طی چند ماه گذشته شاهد افزایشی در مالکان وب‌سایت‌ها و برخی از شبکه‌های تحویل محتوا (CDN) برای استفاده از خطاهای 404 و سایر خطاهای کلاینت 4، (اما نه 429) برای کاهش نرخ ،یدن Googlebot بودیم.

نسخه کوتاه این پست وبلاگ این است: لطفا این کار را نکنید…”

در نهایت، گوگل استفاده از کدهای پاسخ خطای 500، 503 یا 429 را توصیه می کند.

کد پاسخ 500 به این م،ی است که یک خطای داخلی سرور وجود دارد. پاسخ 503 به این م،ی است که سرور قادر به رسیدگی به درخواست یک صفحه وب نیست.

گوگل هر دوی این نوع پاسخ ها را به ،وان خطاهای موقتی در نظر می گیرد. بنابراین بعداً دوباره می آید تا بررسی کند که آیا صفحات دوباره در دسترس هستند یا خیر.

پاسخ خطای 429 به ربات می‌گوید که درخواست‌های زیادی دارد و همچنین می‌تواند از آن بخواهد که برای مدت زمان مشخصی قبل از ،یدن مجدد منتظر بماند.

گوگل توصیه می کند با صفحه برنامه نویس خود مشورت کنید درباره Googlebot محدود ، نرخ.

پست وبلاگ گوگل را بخو،د:
برای محدود ، نرخ از 403s یا 404s استفاده نکنید

تصویر برجسته توسط Shutterstock/Krakenimages.com