Robots.txt در حقیقت جزو مهارت‌های اولیه‌ای است که متخصصین سئو آن را یاد می‌گیرند و یکی از صدها بخش سئو سایت می‌باشد. اما متاسفانه در بسیاری از موارد نتایجی که از آن گرفته میشود یا منفی و مخرب است و یا عملا هیچ تاثیری در سئو ندارد. اگر برنامه های FTP را نمی شناسید یا راجع به کار اف تی پی اطلاعات دقیقی ندارید، پیشنهاد می کنم مطالعه این مقاله را از دست ندهید.
- البته ربات‌های دیگری متعلق به سرویس دهنده‌های مختلف اینترنتی هستند.
- یا فایل منیجر کنترل پنل هاست) در روت اصلی سایت آپلود کنید.
- می‌باشند که در ادامه به صورت جداگانه هریک از این موارد را با جزئیات آن‌ها شرح می‌دهیم.
- بعد از انتخاب وبسایت به صفحه‌ای هدایت می‌شوید که آخرین محتوای فایل Robots.txt که گوگل دریافت و بررسی کرده را نمایش می‌دهد.
اولین کاری که می کند سر زدن به این فایل است، بنابراین دو حالت بیشتر وجود ندارد، یا این فایل را دارید و شامل دستورات است، یا این فایل خالی است که همین یعنی فایلی ندارید. وقتی فایلی نداشته باشید ربات هم آزاد است به تمام بخش های سایت سر بزند. شما میتوانید آپدیت‌های ربات افزایش ورودی گوگل ما را در سال اول پس از خرید به صورت کاملاً رایگان از پنل خود دریافت کنید اما برای دریافت آپدیت و پشتیبانی در سال‌های بعدی نیاز به تمدید سالانه محصول دارید. تمدید سالانه ارزان است و فقط با پرداخت 20% قیمت (به روز) پکیج انجام خواهد شد. دریافت مبلغ برای تمدید آپدیت های سالانه، تضمینی است بر اینکه ربات افزایش ورودی گوگل دائماً مورد رسیدگی ما قرار میگیرد، آپدیت میشود و هرگز از کار نمی‌افتد. علاوه بر دستورات “User-agent” و “Disallow”، ربات گوگل دستور دیگری به نام “Allow” را نیز درک میکند.
سئو تکنیکال یا سئو فنی چیست؟ آموزش سئو تکنیکال
اجازه دهید برای درک آسان‌تر فایل Robots.txt از یک مثال ساده شروع کنیم. «بودجه خزیدن» تعداد صفحاتی است که Googlebot در مدت زمان معینی در یک سایت می خزد و فهرست می کند. اما اگر تعداد صفحات فراتر از حد انتظار بود (به URL صفحاتی که فهرست بندی شده اند که شما نمی خواهید توجه نمایید) زمان آن است که از Robots.txt استفاده نمایید. اولین و مهم‌ترین نکته حساس بودن ربات‌ها و خزنده‌ها به کوچک یا بزرگ بودن حروف است.
دستور User-agent
فرض کنید اولین بار برای انجام یک کار اداری وارد سازمان بزرگی می‌شوید؛ هیچ جایی را هم نمی‌شناسید. مدیران این سازمان هم چون می‌دانند مراجعه کننده‌ها همه‌جا را نمی‌شناسند، پس کنار در ورودی یک باجه اطلاعات درست کرده‌اند و یک یا چند نفر را مسئول راهنمایی و نگهبانی گذاشته‌اند. اگر این افراد راهنما و نگهبان نباشند، کل سازمان دچار هرج و مرج میشود. هرکسی برای انجام کارهایش راهروها را بالا و پایین میکند و کارمندان هم نمی‌توانند کارها را به درستی انجام دهند.
ربات‌های موتور جستجوی گوگل مهم‌ترین ربات‌هایی هستند که در اینترنت می‌چرخند. این ربات‌ها هر روز چندین بار صفحه‌های سایت شما را بررسی می‌کنند. اگر وبسایت بزرگی داشته باشید، امکان دارد ربات‌های گوگل تا چند ده هزار بار در روز صفحه‌های سایت را بررسی کنند. دسترسی ربات‌های موتورهای جستجو را به بخش‌های مختلف و مشخص شده‌ای که اهمیت چندانی برای سئو و کسب رتبه در موتورهای جستجو ندارند را محدود می‌کنند. در این حالت نه تنها سرور سایت با ترافیک سبک‌تری فعالیت خواهد کرد، بلکه مراحل بررسی و جمع‌آوری اطلاعات و سپس ایندکس کردن آن‌ها توسط ربات‌ها نیز به مقدار بسیار زیادی سریع‌تر خواهد شد. از بارزترین مثال‌ها در این زمینه، سایت‌های اشتراک فایل غیرقانونی از جمله سایت‌های تورنت هستند.
این واقعاً مهم است که فایل robots.txt شما به درستی تنظیم شود. اگر برای ایندکس کردن تمام صفحات خود با مشکل مواجه هستید، ممکن است با مشکل بودجه crawl مواجه شوید. با مسدود کردن صفحات بی‌اهمیت با robots.txt، گوگل بات می‌تواند بیشتر بودجه خزشِ شما را صرف صفحاتی کند که واقعاً مهم هستند. در صورتی که سایت شما دارای ساب دامین است لازم است هریک از این ساب دامین‌ها دارای فایل robots.txt مختص خود باشند. بعنوان مثال nardebangroup.com فایل خودش را دارد و my.nardebangroup.com هم فایل robots.txt جدا دارد.
یکی دیگر از کارهای سئو فنی مربوط به فایل روبوتس است.فایل Robots.txt یکی از فایل‌های مهم در سایت‌ها است. با استفاده از آن می‌توان به موتورهای جست‌وجو اعلام کرد که چه محتوا و صفحاتی را برای ایندکس شدن بررسی نکنند. با این فایل شما میتوانید محتواهایی که نمی‌خواهید توسط موتورهای جستجو بررسی و در نتایج جستجوها نشان داده نشود را مشخص کنید.
این دستور برای اطمینان حاصل کردن از این است که هیچ صفحه‌ای در حین خزیدن در سایت فراموش نشود. با این وجود وجود نقشه سایت تاثیری در اولویت‌بندی خزش صفحات توسط ربات ندارد. فایل Robots.txt در حقیقت به ربات‌ها اطلاع می‌دهد که کجا می‌توانند فایل یا فایل‌های نقشه سایت XML را پیدا کنند و در این میان کدام صفحات نباید کراول شوند. قبل از اینکه ربات‌های موتورهای جستجو نظیر گوگل صفحات وب را کراول کنند ابتدا فایل Robots.txt را بررسی می‌کنند و اگر این فایل موجود باشد مطابق با اطلاعات مندرج در آن اقدام به ایندکس کردن صفحات می‌کنند. هدف نهایی بهینه سازی فایل robot.txt این است که فایل هایی که به صورت عمومی در دسترس نیست را ایندکس نکند.
در واقع با این کار به ربات‌ها می‌گویید کدام صفحه‌ها اصلاً در اولویت شما نیستند. حتماً شما هم نمی‌خواهید که ربات خزنده گوگل برای مشاهده و ایندکس محتوای تکراری و کم ارزش، سرورهای شما را اشغال کند. در واقع فایل Robots.txt یک قرارداد بین سایت شما و ربات‌های خزنده است که به آن‌ها اعلام میکند چه محتوایی قابل بررسی و چه محتوایی غیرقابل بررسی است. با این کار ربات‌های موتورهای جستجو زمان کافی و اختیارات لازم برای بررسی محتوای وبسایت شما را داشته و بهتر سایت شما را بررسی می‌کنند. گوگل دیگر کودکی نیست که فقط به محتوای html سایت شما دقت کند و آن را در حالی که شما از دیگر تکنولوژی هایی مثل جاوا اسکریپت و … استفاده می کنید نادیده بگیرد و تمامی محتواهای تمام صفحات شما را بیرون بکشد.