قبل از اینکه بخواهیم در فایل robots.txt سایت‌مان تغییراتی ایجاد کنیم، لازم است که با محدودیت‌های این فایل آشنا باشیم. فرض کنید که در وبسایت‌تان فولدری به نام mypic دارید که در آن یکسری تصاویر را نگهداری می‌کنید که علاقه‌ای ندارید ربات جستجو تصاویر گوگل آن را بررسی کند و در نتایج خود نشان دهد. در مرحله دوم، بعد از اینکه مشخص کردیم دقیقا با چه رباتی طرف هستیم، حالا باید مشخص کنیم که محدودیت‌های این ربات چیست و چه صفحات و منابعی از وبسایت شما را نباید بررسی کند.
فایل robots.txt همان بستری است که کمک میکند تا ربات‌ها زبان ما بفهمند. Robots.txt یک فایل متنی است و برای ربات‌های خزنده‌ای که برای بررسی یا کارهای دیگر به وبسایت شما سر می‌زنند، نقش راهنما را بازی میکند. فایل robots.txt را وب‌مسترها می‌سازند و با این فایل به ربات‌ها دستور می‌دهند که چه صفحاتی را کرال یا ایندکس کنند و در چه صفحاتی نباید وارد شوند. در عمل، فایل robots.txt نشان می‌دهد که آیا برخی از نرم‌افزارهای کرال کردن وب می‌توانند قسمت‌هایی از یک وبسایت را کرال کنند یا خیر. این دستورالعمل‌ها با «disallowing» یا «allowing» مشخص می‌شوند. اصلا دستور دادن به ربات‌ها چه فایده‌ای دارد؟ مگر اشکالی دارد که ربات‌ها همینطور برای خودشان در وبسایت ما بچرند؟ بله..
- Robot.txt یک فایل متنی است که برای بهبود سئو سایت از طریق مدیریت ایندکس گوگل، مورد استفاده قرار می گیرد.
- هیچ ابزاری وجود ندارد که بتواند در این مورد به شما کمک کند، زیرا نحوه آپلود فایل در سایت شما به معماری سایت و سرور شما بستگی دارد.
- یک فایل txt باید درtop-level directory وبسایت قرار بگیرد.
- تشکر میکنم از شماوتیم بزرگتون وخداوقت میگم به خاطرپشتیبانی عالیتون محصول نرم افزارسئو تون خیلی بهم کمک کرد و خیلی راضی هستم…
امیدواریم مطالعه این مقاله گامی مثبت در راستای بهینه‌سازی سایت شما باشد. شما می‌توانید سوالات و نظرات خود را از بخش دیدگاه‌ها با ما مطرح کنید؛ همچنین اگر محتوای امروز همیار وردپرس برایتان مفید بود، خوشحال می‌شویم آن را با دوستان خود در شبکه‌های اجتماعی به اشتراک بگذارید. Robots.txt فایلی است که به ربات‌های موتورهای جستجو می‌گوید که چه صفحات یا بخش‌های خاصی از یک وب سایت را بررسی نکنند و مجاز به بررسی چه صفحاتی هستند. کلیه سایت‌ها برای ایندکس شدن توسط موتورهای جستجوی به فایل robots.txt نیاز دارند. اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند. اگر بتوانید فایل robots.txt خوبی ایجاد کنید، می‌توانید به موتورهای جستجو (به خصوص Googlebot) بگویید که کدام صفحات را مشاهده نکند.
حذف کامل یک صفحه از نتایج گوگل به کمک فایل robots.txt
هم چنین از انجام به روز رسانی های مداوم این فایل خودداری کنید. شاید به روز رسانی های مداوم فایل ربوتس دات تی ایکس تی برای سایت به ظاهر تاثیری نداشته باشد اما در نهایت منجر به پیچیده و سخت شدن دسترسی ربات موتورهای جستجو به سایت می شود. موتورهای جستجو مثل گوگل هر کدام ربات های مخصوص به خود دارند مثل Googlebot که معروفترین ربات گوگل می باشد که وظیفه ی بازرسی، بارگذاری و ایندکس صفحات وب را بر عهده دارد. این ربات نسبت به دیگر ربات ها دستورات بیشتر و پیچیده تری متوجه می شود. Googlebot علاوه بر درک دستور user-agent و disallow دستور allow را متوجه می شود.
آدرس سایت با www یا بدون www ؟ تاثیر کدام در سئو بیشتر است؟
در صورتی که این فایل را بروزرسانی کرده‌اید بهتر است آدرس آن را برای بررسی در گوگل سرچ کنسول ارسال کنید تا سریع‌تر بروز رسانی شود. اگر می‌خواهید یک فایل Robots.txt ایجاد کنید بهترین راهنما برای شما دستورالعمل گوگل است. این دستورالعمل یک فرایند چند خطی است که به شما در کوتاهترین زمان ممکن آموزش می‌دهد چه دستوراتی را در فایل خود قرار دهید تا ربات‌های گوگل بتوانند به خوبی در سایت شما جستجو کنند. در یک فایل Robots.txt با چندین دستورالعمل، می‌توان قوانین مجاز به دسترسی و عدم مجاز به دسترسی را ایجاد کرد. همان‌طور که در تصویر زیر مشاهده می‌کنید یک Robots.txt مشخص شده است که در آن قواعد مختلف برای ربات‌ها توسط یک کاربر ایجاد شده است. ربات‌ها و خزنده‌ها فقط به مواردی که به آن‌ها دسترسی یا همان کد follow داده شده است می‌توانند مراجعه کنند.
مراقب فایل robots.txt سایت‌تان باشید
جلوگیری از ایندکس کردن فایل‌های خاص در وبسایت شما (تصاویر، PDF و غیره) توسط موتورهای جستجو. پروتکل نقشه سایت به ربات‌ها کمک میکند تا بدانند چه چیزی را در خزیدن خود در یک وبسایت قرار دهند. برخی از عوامل کاربر (ربات‌ها) ممکن است فایل robots.txt شما را نادیده بگیرند. این امر به‌ویژه در مورد خزنده‌های بد مانند ربات‌های بدافزار یا خراش دهنده آدرس ایمیل رایج است. این فایل به جای دیگری در سایت پیوند داده نشده است، بنابراین کاربران به احتمال زیاد به آن برخورد نمی کنند، اما اکثر ربات‌های خزنده وب قبل از خزیدن سایت، به دنبال این فایل می‌گردند.
با استفاده از این کد شما به ربات‌ها اعلام می‌کنید که اجازه دسترسی به این فایل و بررسی آن را ندارند. با استفاده از این کد شما به ربات‌ها اعلام می‌کنید که همه صفحات و محتوای سایت را مجاز به بررسی هستند. با استفاده از این کد شما به همه ربات‌ها اعلام می‌کنید که فعلاً نیازی نیست هیچ صفحه‌ای از سایت را بررسی کنند. جلوگیری از ظاهرشدن محتوای تکراری در SERP (توجه داشته باشید که متا ربات‌ها اغلب انتخاب بهتری برای این کار هستند).