خیلی ممنونم ازپیگیری هایی که انجام دادید،مشخصه تیم حرفه ای وکارکشته ای پشت روداریدوخیلی پیگیر هستید،واقعاازخریدم راضیم.. واقعا پشتیبانی خیلی خوبی دارید ممنون از وقتی که برامون میذارید… من چندوقتی هست که بااین گروه کارمیکنم واقعادرزمینه پشتیبانی بهتروفعال‌ترودلسوز‌‌ترازاین گروه ندیدم.بینظیرهمراه هستندو مسولیت پذیر… سلام بزرگوار بنده وظیفه خود میدانم به خاطر عملکردعالی ربات شما تشکر و قدردانی کنم… من برای اولین بارهست که ازسایت ومحصولاتش اینهمه راضی هستم،پشتیبانی هم عالی و واقعاخسته نباشید…
با این حال، تگ noindex از نشان دادن محتوا در صفحات دیگر نیز جلوگیری می‌کند. گوگل اعلام کرده است یک تگ روبات جدید در آینده پیش روی شما قرار خواهد گرفت که این تگ یرچسب indexifembedded نام دارد. این موضوع این امکان را در اختیار شما قرار خواهد داد که به کنترل تگ های خود بپردازید. در این بخش متوجه خواهید شد آیا گوگل قصد دارد صفحه ای را با محتوای جاسازی شده فهرست کند یا خیر. از طرفی این موضوع به گوگل اجازه خواهد دهد تا محتوای یک صفحه را در صورتی که در صفحه دیگری از طریق iframe یا تگ های HTML مشابه بارگزاری شده باشد را علی‌رغم دستور noindex، فهرست بندی کند. موتورهای جستجو معمولاً اطلاعات قرار داده شده در Robots.txt را برای چند روز در حافظه خود نگه می‌دارند.
- خداقوت به مجموعه فوق العاده کاربرمجازی بااینکه سالهاست بواسطه شغلم بامجموعه های مختلف درارتباطم میتونم به جرات بگم…
- به همین دلیل باید برای ویرایش آن، یک فایل جدید را ایجاد کرده و در هاست مجدد بارگذاری کنید.
- تیم وب داران با تکیه بر سه اصل آموزش , اجرا و مدیریت به صورت تخصصی در حوزه های طراحی سایت، سئو از سال 1394 فعالیت خود را با نام رایانه پویان آغاز کرد.
- در واقع ربات ها دستوراتی را اجرا می کنند که به صورت دقیق و منطبق با رفتار آنها تعریف شده باشد.
- برای کرال کردن سایت‌ها، موتورهای جستجو لینک‌ها را دنبال می‌کنند تا از یک سایت به سایت دیگر بروند.
در صورت تغییر در فایل robots.txt می توانید آن را از طریق ابزار مربوطه در گوگل سرچ کنسول، تغییرات صورت گرفته را سریعا بروزرسانی کنید. هیچگاه از فایل robots.txt برای پنهان کردن داده های حساس و خصوصی وب سایت از نتایچ جستجو استفاده نکنید. چرا که ممکن است لینک این گونه صفحات در جایی دیگر از سایت قرار داشته و کاربران به آن دسترسی پیدا کنند. راهکار بهتر برای جلوگیری از دسترسی به این گونه صفحات، قرار دادن پسورد برای دستریست. موتورهای جستجو و دیگر پایشگرهای وب پس از ورود به یک سایت می دانند که بایستی به دنبال یک فایل robots.txt باشند. اما آنها تنها در یک مسیر مشخص (مسیر ریشه وب سایت) به دنبال این فایل هستند.
بنابراین اگر سایت شما است فایل robots.txt باید در آدرس example.com/robots.txt قابل دسترسی باشد. به عنوان مثال فایل robots.txt سایت گروه دیجیتال نردبان از اینجا قابل مشاهده است. یک دلیل خوب دیگر برای استفاده از فایل robots.txt برای وردپرس این است که فایل ها و فولدرهایی که دوست ندارید، ایندکس نشوند و در نتایج جستجو گوگل نمایش داده نشوند. اگر این فایل به درستی تهیه نشده باشد یا به صورت کامل در هاست آپلود نشده باشد، ربات های خزنده مانند قبل تمامی صفحات سایت را ایندکس می کنند. در واقع ربات ها دستوراتی را اجرا می کنند که به صورت دقیق و منطبق با رفتار آنها تعریف شده باشد. با توجه به آنچه گفته شد، امکان ویرایش مستقیم فایل robots.txt در وردپرس وجود ندارد.
فایل robots.txt چست؟ | آنچه باید درباره فایل Robots.txt و تاثیر آن در سئو بدانید
با گذشت حدود 15 روز دیروز به صورت ناگهانی توی وبمستر حدود 1000 عدد ایندکسمون حذف شدن. بعد بررسی متوجه شدم همه ایندکس های حذف شده مربوط به tag ها بودن . نزدیک به 2 سال هست که در زمینه سئو به صورت تخصصی فعالیت میکنم و به سئوی کلاه خاکستری علاقه فراوانی دارم. روز کاری من با مطالعه‌ی اخبار و مقالات جدید مرتبط با حوزه سئو شروع میشه و در این بین اگر مطلب مفیدی رو ببینم در بلاگ تریبون با شما عزیزان به اشتراک می‌گذارم.
دستور های موجود در فایل Robot.txt
البته لازم به ذکر است این یک روش مطمئن برای جلوگیری از نمایش سایت شما در موتورهای جستجو نیست و باید صفحات سایت را no-index کنید. ربات موتورهای جستجو با خزیدن و بررسی کردن صفحات مختلف در سایت‌های مختلف، صفحات را ایندکس کرده و با استفاده از الگوریتم رتبه بندی خود، نتایج را مرتب کرده و در صفحه نتایج موتورهای جستجو نشان می‌دهند. موتورهای جستجو لینک‌های موجود در هر صفحه را دنبال می‌کنند و از سایت A به سایت B رفته و از سایت B به سایت C و این فرایند را به همین شکل ادامه می‌دهند. اما به طور کلی توصیه می شود در طراحی سایت از یک متا تگ روبات ها با ویژگی “noindex, follow” برای جلوگیری از ایندکس شدن صفحه ای از سایت خود توسط موتورهای جستجو استفاده کنید. در این روش شما رتبه صفحه و یا لینک های آن را از دست نخواهید داد. یکی از تکنیک های سئو کلاه سیاه، تکنیک URL Cloacking می باشد؛ در واقع در این تکنیک شما آدرس یک صفحه را از دید موتورهای جستجو مخفی می کنید.
ارسال فایل ربات robots.txt به گوگل
به همین دلیل در فایل robots.txt، ذکر میکنیم که این صفحات ایندکس نشوند. همچنین به کمک این ابزار می توانید محتویات فایل robots.txt را تغییر بدهید. اما برای اعمال تغییرات در سایتتان، باید محتوای ویرایش شده را جایگزین محتوای قبلی در فایل robots.txt در هاست خود کنید. برای این کار کافیست پس از ویرایش متن، روی دکمه Submit کلیک کنید تا به بخش بعدی بروید. در بخش بعدی شما می توانید فایل robots.txt را دانلود کنید، سپس فایل جدید را جایگزین فایل قبلی کنید.
در غیر این صورت ممکن است سایت شما برای همیشه از نتایج گوگل محو و پنالتی شود که نتیجه آن بر باد رفتن زحمات شما خواهد بود. در URL Cloacking از روشی استفاده می شود که شرایط و قوانین گوگل را کاملا نقض می کند و به همین دلیل است که به آن روش سئوی کلاه سیاه می گویند. در این دستور شما زمان تاخیر را هم به ربات ها اعلام می کنید؛ البته این دستور برای رباتی مانند Googlebot قابل اجرا نیست و برای انجام آن باید از ابزاری مانند گوگل سرچ کنسول بهره بگیرید.
بودجه شما، یا همان تعداد صفحاتی که توسط Googlebot مشاهده می شوند، بر اساس حجم وب‌سایت شما (تعداد صفحات)، سلامت آن (عدم بروز خطا) و تعداد بک‌لینک‌های سایتتان تعیین می‌شود. حالا که با مهم‌ترین دستورات مورد نیاز در فایل robots آشنا شدید، بد نیست نکاتی را یادآور شویم که خیلی از وبمستران به اشتباه انجام می‌دهند و همین اشتباهات کوچک اتفاقات خیلی بدی را در سئو سایت آنها رقم می‌زند. در اوایل مقاله با انواع ربات‌ها و خزنده‌های سطح وب آشنا شدیم، حتی به صورت دقیق‌تر اسامی و وظیفه مهم‌ترین ربات‌های گوگل را هم بررسی کردیم.