چون زیرمجموعه public html و wpcontent هست میترسم مشکل ایندکس پبدا کنه. در بخش جامعه می‌توانید سوالات خود را بپرسید و با سایر هم‌میهنان وردپرسی در ارتباط باشید. بنده معمولا دیدگاه ثبت نمی‌کنم اما حیفم اومد برای این مقاله تشکر نکنم.
- به این معنی که تعداد مشخصی صفحه را در یک نشست معین بررسی می کنند.
- این کد به ربات اجازه می دهد در فایل photos فقط عکس backlink.jpg را نمایش داده و ایندکس نماید، واجازه دسترسی به دیگر عکس های داخل فولدررا ندارد.
- نمودار های زیر روند رشد رتبه کلمات کلیدی یا صفحات سایت را در زمان استفاده از ربات افزایش ورودی گوگل نشان میدهند.
- این ربات ها در طی دو مرحله یعنی بررسی و ایندکس، سایت را بررسی می کنند.
- اگر همه آنها در یک بخش از وب سایت باشند، یک فایل robots.txt می‌تواند دایرکتوری حاوی آنها را مسدود کند.
برای ویرایش robots.txt در وردپرس بایستی یک فایل متنی با همین نام را در مسیر روت آن آپلود نمایید. با انجام این کار دیگر فایل robots.txt مجازی وردپرس مشاهده نخواهد شد. در تصویر بالا گوگل اعلام می کند که چنین صفحه ای وجود دارد، اما اطلاعات آن از دید گوگل قابل مشاهده نیست، چرا که جلوی دسترسی به آن گرفته شده است. برای جلوگیری از چنین مشکلی ابتدا بایست صفحات مورد نظر را با استفاده از متا robots نوایندکس نمود و پس از خارج شدن آن صفحات از ایندکس گوگل، اقدام به بلاک نمودن آدرس ها کرد. برخی از ربات ها ممکن است که دستورات فایل robots.txt را نادیده بگیرند.
دستورات قابل پشتیبانی در فایل robots.txt
باید با استفاده از کلمات کلیدی جانبی که رقابت توشون کمتره صفحات سایت رو اول بالا بکشید. اما قطعا هیچ وقت بیشتر از یکی دو روز نمیکشه که از جست و جوی خودتون به نتیجه دل خواه میرسید. هزینه سئو سایت از جمله مواردی است که باید برای دیده شدن سایت خودتان بپردازید. دستور” / ” بعداز Disallow به ربات گوگل می‌گوید باید وارد پوشه‌ای در ریشه فایل شوید.
ساخت فایل ربات
هنگامی که فایل robots.txt خود را در رایانه خود ذخیره کردید، آماده است تا آن را در اختیار خزنده های موتورهای جستجو قرار دهید. هیچ ابزاری وجود ندارد که بتواند در این مورد به شما کمک کند، زیرا نحوه آپلود فایل در سایت شما به معماری سایت و سرور شما بستگی دارد. “/” در اینجا نشان دهنده “ریشه” در سلسله مراتب یک وب سایت یا صفحه‌ای است که همه صفحات دیگر از آن منشعب می‌شوند، بنابراین شامل صفحه اصلی و تمام صفحات لینک شده از آن میشود. با این دستور، ربات های موتورهای جستجو به هیچ وجه نمی‌توانند وب سایت را بخزند. فایل robots.txt مجموعه ای از دستورالعمل ها برای ربات ها است.
فایل ربات همانطور که عرض شد یک فایل متنی با نام robots.txt است و به سادگی میتوان آن را ساخت. این فایل متنی شامل رشته متن هایی موسوم به “دستور” است که به ربات موتورهای جستجو مثل گوگل و بینگ می گوید چطور با سایت رفتار کنند. اگر می‌خواهید نقشه سایت خود را به موتورهای جستجو نشان دهید، پس باید از این فایل استفاده کنید. ما به شدت توصیه می‌کنیم اگر فایل robots.txt را در سایت خود ندارید، بلافاصله آن را ایجاد کنید. فایل robots.txt سایت شما نقش مهمی در عملکرد کلی سئو شما دارد. این فایل شما را قادر می‌سازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از سایت شما را باید ایندکس کنند و چه بخش‌هایی را نباید ایندکس کنند.
چنین چیزی باعث میشود گوگل نتواند جریمه‌ای برای اعمال رباتیک در نظر بگیرد. در نهایت کار روی سرچ و کلمات کلیدی رو با توجه به نکاتی که گفتیم همه روزه برای صفحات مختلف سایتتون تکرار بکنید. خودتون بعد از مدت کوتاهی پیشرفتتون رو از طریق بازخورد بازدیدکنندگاتون رو به صورت ملموس میبینید. دستور Allow به شما امکان می‌دهد تا به ربات گوگل بگویید که اجازه مشاهده یک فایل، در فولدری که Disallowed شده را دارد. از نظر فنی می توانید فایل robots.txt خود را در هر دایرکتوری اصلی سایت خود قرار دهید. Crawl-delay به موتور های جستجو دستور می دهد که صفحه ای را با تاخیر ایندکس کنند؛ این دستور زمانی کاربرد دارد که صفحه شما دارای مشکل است و می خواهید آن را برطرف کنید.