قبل از اینکه بخواهیم در فایل robots.txt سایت‌مان تغییراتی ایجاد کنیم، لازم است که با محدودیت‌های این فایل آشنا باشیم. فرض کنید که در وبسایت‌تان فولدری به نام mypic دارید که در آن یکسری تصاویر را نگهداری می‌کنید که علاقه‌ای ندارید ربات جستجو تصاویر گوگل آن را بررسی کند و در نتایج خود نشان دهد. در مرحله دوم، بعد از اینکه مشخص کردیم دقیقا با چه رباتی طرف هستیم، حالا باید مشخص کنیم که محدودیت‌های این ربات چیست و چه صفحات و منابعی از وبسایت شما را نباید بررسی کند.
جلوگیری از ایندکس کردن فایل‌های خاص در وبسایت شما (تصاویر، PDF و غیره) توسط موتورهای جستجو. پروتکل نقشه سایت به ربات‌ها کمک میکند تا بدانند چه چیزی را در خزیدن خود در یک وبسایت قرار دهند. برخی از عوامل کاربر (ربات‌ها) ممکن است فایل robots.txt شما را نادیده بگیرند. این امر به‌ویژه در مورد خزنده‌های بد مانند ربات‌های بدافزار یا خراش دهنده آدرس ایمیل رایج است. این فایل به جای دیگری در سایت پیوند داده نشده است، بنابراین کاربران به احتمال زیاد به آن برخورد نمی کنند، اما اکثر ربات‌های خزنده وب قبل از خزیدن سایت، به دنبال این فایل می‌گردند.
- لازم به ذکر است که این مورد برای سایت های کم بازدید، تاثیر کمتری دارد.
- صفحه overview در پنل سرچ کنسولاز بخش Web tools گزینه Testing Tools را انتخاب کرده تا خطاها و هشدارهای احتمالی را به شما نشان دهد.
- این فایل حاوی لیست صفحات و محتواهایی است که موتورهای جستجو نیازی نیست آن‌ها را بررسی کرده و دسته بندی کنند.
- برای استفاده از نرم افزاروکلاهرچیزی که میخوام استفاده کنم اول پشتیبانیش رومیسنجم.پشتیبانی نرم افزارکاربرمجازی واقعابه موقع وسریع…
- بعد از ایجاد و یا انجام اصلاحات در فایل ربات، باید از صحت تغییرات خود مطمئن شوید.
امیدواریم مطالعه این مقاله گامی مثبت در راستای بهینه‌سازی سایت شما باشد. شما می‌توانید سوالات و نظرات خود را از بخش دیدگاه‌ها با ما مطرح کنید؛ همچنین اگر محتوای امروز همیار وردپرس برایتان مفید بود، خوشحال می‌شویم آن را با دوستان خود در شبکه‌های اجتماعی به اشتراک بگذارید. Robots.txt فایلی است که به ربات‌های موتورهای جستجو می‌گوید که چه صفحات یا بخش‌های خاصی از یک وب سایت را بررسی نکنند و مجاز به بررسی چه صفحاتی هستند. کلیه سایت‌ها برای ایندکس شدن توسط موتورهای جستجوی به فایل robots.txt نیاز دارند. اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند. اگر بتوانید فایل robots.txt خوبی ایجاد کنید، می‌توانید به موتورهای جستجو (به خصوص Googlebot) بگویید که کدام صفحات را مشاهده نکند.
افزایش سرعت وردپرس از مهم ترین خدمات سئو یاس وب
با استفاده از این کد شما به ربات‌ها اعلام می‌کنید که اجازه دسترسی به این فایل و بررسی آن را ندارند. با استفاده از این کد شما به ربات‌ها اعلام می‌کنید که همه صفحات و محتوای سایت را مجاز به بررسی هستند. با استفاده از این کد شما به همه ربات‌ها اعلام می‌کنید که فعلاً نیازی نیست هیچ صفحه‌ای از سایت را بررسی کنند. جلوگیری از ظاهرشدن محتوای تکراری در SERP (توجه داشته باشید که متا ربات‌ها اغلب انتخاب بهتری برای این کار هستند).
راهنمای کامل نحوه بهینه سازی Core Web Vitals (سرعت سایت وردپرس)
هم چنین از انجام به روز رسانی های مداوم این فایل خودداری کنید. شاید به روز رسانی های مداوم فایل ربوتس دات تی ایکس تی برای سایت به ظاهر تاثیری نداشته باشد اما در نهایت منجر به پیچیده و سخت شدن دسترسی ربات موتورهای جستجو به سایت می شود. موتورهای جستجو مثل گوگل هر کدام ربات های مخصوص به خود دارند مثل Googlebot که معروفترین ربات گوگل می باشد که وظیفه ی بازرسی، بارگذاری و ایندکس صفحات وب را بر عهده دارد. این ربات نسبت به دیگر ربات ها دستورات بیشتر و پیچیده تری متوجه می شود. Googlebot علاوه بر درک دستور user-agent و disallow دستور allow را متوجه می شود.
در صورتی که این فایل را بروزرسانی کرده‌اید بهتر است آدرس آن را برای بررسی در گوگل سرچ کنسول ارسال کنید تا سریع‌تر بروز رسانی شود. اگر می‌خواهید یک فایل Robots.txt ایجاد کنید بهترین راهنما برای شما دستورالعمل گوگل است. این دستورالعمل یک فرایند چند خطی است که به شما در کوتاهترین زمان ممکن آموزش می‌دهد چه دستوراتی را در فایل خود قرار دهید تا ربات‌های گوگل بتوانند به خوبی در سایت شما جستجو کنند. در یک فایل Robots.txt با چندین دستورالعمل، می‌توان قوانین مجاز به دسترسی و عدم مجاز به دسترسی را ایجاد کرد. همان‌طور که در تصویر زیر مشاهده می‌کنید یک Robots.txt مشخص شده است که در آن قواعد مختلف برای ربات‌ها توسط یک کاربر ایجاد شده است. ربات‌ها و خزنده‌ها فقط به مواردی که به آن‌ها دسترسی یا همان کد follow داده شده است می‌توانند مراجعه کنند.
6- با بازخوانی صفحه در مرورگر خود برای به‌روزرسانی ویرایشگر ابزار و مشاهده آنلاین کد فایل robots.txt، بررسی کنید که آخرین نسخه شما با موفقیت خزیده شده است. استفاده از این مدل دستور در فایل robots.txt به خزنده‌های وب می‌گوید که تمام صفحات از جمله صفحه اصلی را بخزند. برای خزیدن در سایت‌ها، موتورهای جستجو پیوندها را دنبال می‌کنند تا از یک سایت به سایت دیگر بروند، در نهایت، در میان میلیاردها لینک و وبسایت خزیده می‌شوند. این رفتار خزیدن گاهی اوقات به‌عنوان “عنکبوت” شناخته می‌شود. فایل‌های Robots.txt (فایل روبوتس) بیشتر برای مدیریت فعالیت‌های ربات‌های خوب مانند خزنده‌های وب در نظر گرفته شده‌اند، زیرا ربات‌های بد احتمالاً دستورالعمل‌ها را دنبال نمی‌کنند.
هدف از این آموزش این است که اگر مدیران سایت دوست نداشته باشند گوگل به تمام قسمت‌های سایتشان نفوذ کند می‌توانند از این فایل استفاده کرده و یک نوع حریم برای سایتشان ایجاد کنند. شما می‌توانید با استفاده از افزونه‌ای که در بالا ذکر شد کاری کنید که قسمتی از فایل‌ها مانند readme.html در گوگل ایندکس نشود و یا غیرازاین می‌توانید هر فایل دلخواه دیگری را مشخص کنید تا نمایش داده نشود. برای جلوگیری از نمایش دادههای حساس (مانند اطلاعات خصوص کاربر) در نتایج SERP از txt استفاده نکنید.
فایل robots.txt همان بستری است که کمک میکند تا ربات‌ها زبان ما بفهمند. Robots.txt یک فایل متنی است و برای ربات‌های خزنده‌ای که برای بررسی یا کارهای دیگر به وبسایت شما سر می‌زنند، نقش راهنما را بازی میکند. فایل robots.txt را وب‌مسترها می‌سازند و با این فایل به ربات‌ها دستور می‌دهند که چه صفحاتی را کرال یا ایندکس کنند و در چه صفحاتی نباید وارد شوند. در عمل، فایل robots.txt نشان می‌دهد که آیا برخی از نرم‌افزارهای کرال کردن وب می‌توانند قسمت‌هایی از یک وبسایت را کرال کنند یا خیر. این دستورالعمل‌ها با «disallowing» یا «allowing» مشخص می‌شوند. اصلا دستور دادن به ربات‌ها چه فایده‌ای دارد؟ مگر اشکالی دارد که ربات‌ها همینطور برای خودشان در وبسایت ما بچرند؟ بله..
باید دقت داشته باشید که صفحات شما همزمان از این دو تگ و ربات استفاده نکنند تا صفحات به درستی به موتورهای جستجو معرفی شوند. کافی است ربات های خزنده، صفحات غیرضروری مثل ادمین وردپرس، فایل افزونه ها، فولدر تم را ایندکس نکنند. با این کار، موتورهای جستجو وقت بیشتری برای ایندکس صفحات مفید و ضروری شما دارند. به عنوان مثال فرض کنید شما به مناسبت های مختلف، جشنواره ای را در سایت خود برگزار می کنید و برای این جشنواره ها صفحاتی را ایجاد می کنید. ضرورتی ندارد که ربات های خزنده این صفحات را ایندکس کنند؛ چرا که پس از مدتی غیر فعال شده و از طرفی بار محتوایی زیادی نیز ندارند.