کافی است به انتهای آدرس هر سایتی robots.txt/ اضافه کنید و آن را باز کنید. فرقی نمی‌کند میزبان وبسایت شما یک سرور اختصاصی، اشتراکی یا مجازی است، فقط کافی است این فایل را در پوشه یا همان دایرکتوری اصلی سایت بارگذاری کنید. فایل robots.txt خود را پیدا کرده و آن را برای ویرایش باز کنید. دستور جدیدی که می‌خواهید را وارد کنید و بعد آن را ذخیره کنید.
- اصلا دستور دادن به ربات‌ها چه فایده‌ای دارد؟ مگر اشکالی دارد که ربات‌ها همینطور برای خودشان در وبسایت ما بچرند؟ بله..
- اگر ترغیب شدید که نگاهی به فایل robots.txt سایت خودتان یا هر سایتی بیاندازید، پیدا کردنش سخت نیست.
- بازم ممنون بابت صبر و حوصلتون و اینکه سرتونو بدرد آوردم امیدوارم جوابی بمن بدید که مشکلات سایتمو حل کنه و راه حلاتون عملی باشه عین مقاله هاتون .
- این مقاله به کوشش رامین محمودی، حسین بابائی، صفیه منتظری و دیگر اعضای تیم نوین تولید شده است.
- همه چیز درباره مالیات درگاه پرداخت اینترنتی آیا شما نیز در کسب‌و‌کارتان از درگاه‌های پرداخت اینترنتی یا دستگاه‌های کارت‌خوان استفاده می‌کنید؟ اگر پاسختان مثبت است، باید با نحوه…
فایل robots.txt به گوگل، بینگ و دیگر روبات ها می گوید که به کدام صفحات در یک وب سایت دسترسی ندارند. در صورتی که شما از این فایل در برخی از صفحات در طراحی سایت خود استفاده کنید، موتور های جستجو آن صفحات را به اصطلاح crawl (خزیدن) نمی کنند و امکان دارد URL آن صفحات را در ایندکس خود ثبت نکنند. ربات‌های موتور جستجوی گوگل مهم‌ترین ربات‌هایی هستند که در اینترنت می‌چرخند. این ربات‌ها هر روز چندین بار صفحه‌های سایت شما را بررسی می‌کنند.
آموزش برنامه نویسی
با وجود دستور Disallow هنوز ممکن است گوگل صفحه شما را ایندکس کند. اگر می‌خواهید خیال‌تان برای ایندکس نشدن یک صفحه در گوگل راحت شود، از روش دیگری مانند رمز عبور محافظت شده یا دستورالعمل متنی noindex استفاده کنید. از اینجا میتوانید جزییات فایل robots.txt هر سایتی را به راحتی مشاهده کنید. اگر می‌خواهید برای ادیت فایل Robots.txt سایت خودتان اقدام کنید، این فایل در قسمت Root سایت شما قرار دارد. با ورود به این بخش میتوانید فایل robots خودتان را پیدا کنید و دستورات جدیدی به آن اضافه یا دستورات قبلی را حذف کرده و سپس فایل را ذخیره کنید. مثلا در CMS وردپرس نیازی نیست که ربات موتورجستجو برود و شاخه ی wp-admin را بررسی نماید ما در فایل robots.txt از پیمایش این شاخه توسط ربات را جلوگیری میکنیم.
بهبود عملکرد بهینه سازی سایت
همونطور که در ابتدای صفحه گفتیمنرم افزار ما با استفاده از ماوس و کیبورد واقعی بجای استفاده از دستورات برنامه نویسی جست وجو و کلیک روی سایت شمارو توی گوگل انجام میدهد. کاربرد و فایده اصلی آن این است که به افراد متخصص در زمینه سئو این دسترسی را می دهد که به طور همزمان و بدون اینکه نیاز به تغییرات در سورس باشد به راحتی تغییرات لازم را اعمال نمایند و از ایندکس صفحه جلوگیری کنند. در ادامه به توضیح برخی از دستورات متداول در این فایل می پردازیم. دستور Disallow برای ایندکس نکردن کاربرد دارد؛ با این دستور شما به ربات های موتور جستجو می گویید که نمی خواهید صفحه یا بخش مورد نظر در سایتتان، ایندکس شود. از آن جایی که فایل Robot.txt یک فایل متنی ساده است، ایجاد کردن آن کار دشواری نیست؛ برای انجام این کار نیاز به یک ویرایشگر متن ساده مانند Notepad دارید.
پس فایل ربات صرفا برای جلوگیری از کراول نیست و موتورهای جستجو در هر صورت صفحات شما را ایندکس و کراول می‌کنند اما با فایل ربات به آنها اطلاع می‌دهید که این صفحات را در نتایج جستجو نمایش ندهد. من پیشنهاد میکنم اگر نیاز به نوایندکس کردن و حذف صفحه ای از دید ربات های موتور جستجو را دارید، با توجه به سخت بودن کار با robot به سراغ روش های دیگر بروید. در مقاله نوایندکس حدود 7 روش از این راهکارها را توضیح دادم که میتوانید از آنها استفاده کنید. یکی از تکنیک های سئو کلاه سیاه، تکنیک URL Cloacking می باشد؛ در واقع در این تکنیک شما آدرس یک صفحه را از دید موتورهای جستجو مخفی می کنید. یکی از دلایل استفاده از فایل robots.txt، مدیریت همین صفحات است.
اما چند نکته راجع به وردپرس در این زمینه وجود دارد که دانستن آنها خالی از لطف نیست. نهایی را بزنید تا به گوگل اطلاع دهید که فایل مورد نظر بروزرسانی شده است. سپس باید آن را توسط یک ویرایشگر متنی آنلاین اجرا کرده و آن را ویرایش کنید. همچنین میتوانید این فایل را دانلود کرده و روی کامپیوتر خود ویرایش کنید و در نهایت فایل ذخیره شده را با فایل قبلی جایگزین کنید. به همین طریق می‌توان خیلی راحت و سریع این نوع دسترسی‌ها را مدیریت کرد.
مزایای فایل robots.txt چیست؟
در مطلب ” ثبت سایت در سرچ کنسول ” به شما آموزش های لازم را داده ایم. در فایل ربات تی ایکس تی به کمک دستورهایی مشخص می توان تعیین کرد که ربات های گوگل کدام یک از صفحات سایت را نباید بررسی کنند، موضوعی که در سئو سایت، به خصوص سئو سایت فروشگاهی اهمیت بسیار بالایی دارد. راه حل مناسب جهت انجام این امر ، قرار دادن تگ noindex در این صفحات است.
از رتبه ۲ هزار گوگل به ۵۰ هزار نزول پیدا کردیم و بهتر بگم عین ۱۰ هزار صفحه ما شد ارور ۴۰۴ که طراحان جدید گفتن بعد از مدتی از بین میرن که نرفت تکرار میکنم از بین نرفت و یا اگه رفت بالای ۶ ماه طول کشید. مخصوصا اینکه بقیه مقالات اصلا توضیح نداده بودن که چطوری میشه به این فایل دسترسی داشت و کجای هاست هستش. حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید. حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید. اجازه دهید برای درک آسان‌تر فایل Robots.txt از یک مثال ساده شروع کنیم. در هر دامنه و زیر دامنه باید یک فایل txt جداگانه قرار بگیرد.