صفحات غیرمجاز لزوماً “پنهان” نیستند – آنها فقط برای کاربران عادی Google یا Bing مفید نیستند، بنابراین به آنها نشان داده نمی‌شوند. در بیشتر مواقع، کاربر در وب سایت اگر بداند که در کجا آنها را پیدا کند، می تواند این صفحات را پیمایش کند. هر شخص یا برنامه ای که در اینترنت فعال است یک “عامل کاربر” یا یک نام اختصاص یافته خواهد داشت.
- چرا که ممکن است بتوانیم از طریق دیگری به خواسته‌ای که به دنبال آن هستیم برسیم و از روش‌های دیگری برای پنهان کردن صفحات سایتمان در نتایج موتورهای جستجو استفاده کنیم.
- در این قسمت پاسخ تعدادی از سوالات متداول در مورد اهمیت robots.txt و نحوه ایجاد آن ارائه شده است.
- ربات‌ها در واقع نرم‌افزارهایی هستند که به صورت خودکار صفحه‌های مختلف را باز و بررسی می‌کنند.
- دستورات فایل ربات شما از ایندکس جلوگیری نمی کند و می بایست مابقی تنظیمات وردپرس را برای این مورد بررسی نمایید.
- به عنوان مثال در بسیاری از سایت‌ها بخشی تحت عنوان پروفایل کاربران وجود دارد که نمایش این پروفایل‌های کاربری در نتایج گوگل هیچ ترافیکی برای سایت مورد نظر ایجاد نمی‌کنند.
اگر سایت شما وردپرسی است با نصب افزونه‌های سئو وردپرس نظیر رنک مث یا یوست سئو بصورت خودکار برای شما این فایل ایجاد خواهد شد. در غیر این صورت به پوشه public_html در هاست خود بروید و یک فایل متنی با نام robots.txt و محتوای آن را مطابق با نیازهای خود اصلاح کنید. در صورتی که قصد این را دارید که بصورت قابل اطمینان یک صفحه را از نتایج جستجو حذف کنید بایستی از تگ noindex در صفحه مورد نظر استفاده کنید. برای مشاهده این تگ بایستی اجازه بررسی صفحه و مشاهده این تگ را به موتور جستجو بدهید پس بهتر است صفحه را در robots.txt بلاک نکنید.
مدیریت دسترسی موتور های جستجوی گوگل
فایل robots.txt دستورالعمل هایی را برای ربات ها مشخص می‌کند. یک ربات خوب، مانند یک خزنده وب یا یک ربات فید خبری، سعی می‌کند قبل از مشاهده هر صفحه دیگری در یک دامنه، ابتدا از فایل robots.txt بازدید کند و دستورالعمل های آن را دنبال کند. ربات بد یا فایل robots.txt را نادیده می‌گیرد یا آن را بررسی می‌کند تا صفحات وب ممنوعه را پیدا کند. جلوگیری از دسترسی به یک سری از آدرس های سایت به معنای پاک شدن آنها از ایندکس گوگل نخواهد بود. به عبارتی دیگر اگر دسترسی به صفحه ایندکس شده ای را توسط فایل robots.txt بلاک کنید، همچنان آن صفحه در نتایج جستجو قابل رویت است. موتورهای جستجو محتوای فایل robts.txt را کش کرده و معمولا روزی یک بار آن را بروزرسانی می نمایند.
قالب های رایگان وردپرس
گوگل سوابق بازدیدهای سایت شما را بر اساس ip، عباراتی که جستجو می شوند، زمان بین بازدیدها و دیگر پارامترهای مشابه، مورد بررسی قرار می دهد. لذا لازم است خودتان روی این موارد مدیریت داشته و ربات را به گونه ای تنظیم کنید که بهترین نتیجه را برای شما حاصل کند. از آنجاییکه ممکن است توضیح این موارد (در قالب نوشتار) کمی طولانی باشد، نکات لازم را در قالب یک فایل صوتی (وُیس) برای شما تهیه کرده ایم… دستور Disallow برای ایندکس نکردن کاربرد دارد؛ با این دستور شما به ربات های موتور جستجو می گویید که نمی خواهید صفحه یا بخش مورد نظر در سایتتان، ایندکس شود.
چند نکته که اگر به آنها توجه نکنید خرابکاری می‌کنید!
حالا همینطور خورد خورد تعدادش رو افزایش بدین تا گوگل شک نکنه. بنابراین بغیر از این سه مورد، توصیه می کنیم به جای robots.txt از دستورات متا استفاده کنید. و احتمال وقوع فاجعه کمتری وجود دارد (مانند مسدود کردن کل سایت شما). همچنین، اگر تعداد زیادی صفحه دارید که می‌خواهید آنها را مسدود کنید، گاهی اوقات به‌جای افزودن دستی یک برچسب noindex به هر صفحه، مسدود کردن کل بخش آن سایت با robots.txt آسان‌تر می باشد. اولین قدم شما این است که واقعاً فایل robots.txt خود را ایجاد کنید. تجربه شما در استفاده و تنظیم این فایل چگونه است؟ آیا robots.txt سایت خود را بررسی کرده‌اید؟ چه مشکلاتی داشته اید؟ سوالات و نظرات خود را برای ما بنویسید.