در این مقاله به طریقه و روش استفاده‌ی صحیح از این فایل‌ها پرداخته‌ایم تا بدون هر گونه ریسک و تاثیرگذاری منفی در سئو از آن‌ها استفاده کنید. سلام همون فایل xml رو که توی کد های مقاله (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) نوشته بودید رو نشون میده. ظاهرا تنظیمات رنک مث درست انجام نشده آموزشش رو تو سایت ببینید.
من وقتی سایت رو تو گوگل جستجو می کنم یک سری از آدرس های مربوط به دایرکتوری آپلود میاد بالا که البته از تو سرچ کنسول آن ها را به درخواست حذف اضافه کردم. ما در تیم تولید محتوای میهن وردپرس در تلاش هستیم تا بهترین مقالات آموزشی در زمینه وردپرس و کسب‌و‌کارهای اینترنتی را تهیه کنیم. حال که دانستید یک فایل ایده آل و بهینه شده فایل robots.txt به چه شکل است، بیایید نگاهی به نحوه ایجاد یک این فایل در وردپرس بیندازیم. نمونه فایل robots.txt فوق به همه ربات ها اجازه می دهد تا تمام مطالب سایت از جمله تمام نوشته ها و برگه ها را ایندکس کنند. چرا که صفحات سایت در اغلب موارد ممکن است به این دو پوشه نیاز داشته باشد تا بتواند یک عملکرد مناسبی ارائه دهد. کوکی مرورگر چیست و چرا اهمیت دارد؟ کوکی‌ها، فایل‌هایی هستند که اطلاعات مفیدی را در کامپیوتر شما ذخیره می‌کنند.
به این معنی است که تمام بخش‌های این سایت قابل دسترس برای تمام ربات‌ها و خزندگان موتورهای جستجو است. اما اگر قصد این را دارید که اطلاعات خود را فقط برای یک ربات خاص تعیین کنید باید نام دقیق آن ربات را به جای ستاره جایگذاری کنید. این دستور برای مشخص کردن ربات‌ها و خرندگانی است که امکان دسترسی به بخش‌های سایت را داشته باشند یا خیر. با این دستورالعمل می‌توان به تمام ربات‌ها دسترسی داد و یا با اضافه کردن نام رباتی خاص، فقط به آن ربات دسترسی‌های مختلف را داد یا محدود کرد. یکی از تکنیک‌های سئوی کلاه سیاه است و در صورتی که به درستی آن را پیاده‌سازی نکنید، متهم به نقض قوانین موتورهای جستجو شده و شامل جریمه‌های گوگل خواهید شد. حالا فرض کنید به صورت روزانه صدها یا هزاران ربات شروع به بررسی و جمع‌آوری اطلاعات از سایت شما می‌کنند و در این صورت، عملکرد بهینه سایت شما و سرعت بارگذاری اطلاعات آن برای مرورگرها تحت‌الشعاع قرار خواهد گرفت.
- مدیریت ربات‌ها برای راه‌اندازی یک وبسایت یا برنامه ضروری است، زیرا حتی فعالیت خوب ربات‌ها می‌تواند بر سرور مبدا بار اضافه وارد کند و سرعت وب را کند یا از بین ببرد.
- جلوگیری از ظاهرشدن محتوای تکراری در SERP (توجه داشته باشید که متا ربات‌ها اغلب انتخاب بهتری برای این کار هستند).
- اگر این فایل در هاست سایت شما آپلود نشده باشد، خزندگان و ربات‌های موتورهای جستجو امکان دسترسی به تمام صفحات عمومی را خواهند داشت و قادر هستند تا تمام محتوای سایت شما را ایندکس کنند.
- این فایل معمولا در ریشه دایرکتوری ذخیره شده که به عنوان پوشه اصلی سایت شما شناخته می شود.
- این واقعاً مهم است که فایل robots.txt شما به درستی تنظیم شود.
مثل تصویر زیر که در آن اجازه دسترسی به پوشه‌ای به نام photos و اجازه دسترسی به صفحه‌ای به نام files.html را ندادیم. خوشبختانه دسترسی ربات‌ها به صفحه‌ها یا فایل‌ها را می‌توانیم کنترل کنیم. هنگامی که فایل robots.txt خود را در اختیار دارید، زمان فعال سازی آن فرا رسیده است.
برخی از موارد استفاده رایج از فایل Robots.txt
البته که ابزارهای زیادی برای این کار وجود دارد که مطمئن ترین راه استفاده از ابزار موجود در Google Search Console است. وارد اکانت سایتتان در وب مستر شوید و به نسخه قدیمی سوئیچ کنید. چرا که در صورت ایندکس شدن، ممکن است به عنوان صفحات زامبی یا بی ارزش شناخته شوند. لازم به ذکر است که ایندکس نشدن یک صفحه از سایت، به معنای دیده نشدن آن صفحه توسط کاربر نیست.
به همین دلیل باید برای ویرایش آن، یک فایل جدید را ایجاد کرده و در هاست مجدد بارگذاری کنید. زمانی که فایل جدید robots.txt ساخته می شود، فایل مجازی به صورت خودکار غیر فعال می شود. اما اگر با صفحه ای شامل کدهای User-agent و … روبرو شدید، باید برای مدیریت فایل به کنترل پنل هاست سایتتان مراجعه کنید. برای ویرایش فایل robots.txt، آن را در یک ویرایشگر متنی ساده باز کرده و تغییرات لازم را اعمال کنید.
سئو و بهینه سازی محتوای وبلاگ با 10 نکته ساده اما کاربردی
در دنیای اینترنت، بیش از هزاران نرم افزار برنامه نویسی شده برای خزیدن داخل وب وجود دارند که به آن‌ها ربات‌های خزنده یا crawler گفته می‌شود. به کمک متا تگ noindex در هدر یک صفحه می‌توان امیدوار بود که این صفحه به صورت کامل از نتایج گوگل حذف خواهد شد. برای اینکار کافیست در هدر صفحه مورد نظر به صورت زیر عمل کنید. همانطور که تا اینجا متوجه شدید، برای حذف کامل یک فایل خاص مانند فایل‌های PDF یا تصاویر از نتایج گوگل، می‌توان به کمک محدودیت‌های فایل robot اینکار را به صورت کامل انجام داد. با توجه به محدود بودن این بودجه برای هر سایت، طبیعتا نباید اجازه دهیم بودجه خزش سایت ما صرف خزش محتواهایی از سایت‌مان شود که هیچ کمکی به افزایش ترافیک سایت ما نمی‌کنند.
آموزش ویدیویی نصب وردپرس بر روی هاست دایرکت ادمین
پروتکل نقشه سایت کمک می‌کند تا مطمئن شوید که ربات های عنکبوتی وب در هنگام خزیدن یک وب سایت چیزی را از دست نمی‌دهند، اما ربات‌ها همچنان روند خزیدن معمول خود را دنبال می‌کنند. نقشه‌های سایت، ربات‌های خزنده را مجبور نمی‌کنند تا صفحات وب را به‌طور متفاوتی اولویت‌بندی کنند. در این شرایط است که برای بهینه سازی عملکرد سایت، باید ربات های موتور جستجوی گوگل را محدود کرد؛ برای انجام این کار هم باید از فایل Robots.txt استفاده کرد. در صورت وجود این دستور موتورهای جستجو توانایی خزیدن هیچ یک از صفحات وبسایت را ندارند.