چگونه رشد سریع ربات ها وب باز را تغییر می دهد؟
بیش از نیمی از ترافیک وب از ربات ها می آید:
- گزارش ربات بد Imperva در سال 2024 نشان می دهد که تقریباً 50٪ از کل ترافیک اینترنت در سال 2024 انس، نبوده است. روند: رو به کاهش است.
- رادار Cloudflare 70% ترافیک انسان و 30% از ربات ها را نشان می دهد.
- Akami گزارش می دهد که 42 درصد از ترافیک وب از طریق ربات ها است.
تا کنون، ربات ها اطلاعاتی را جمع آوری کرده اند که اپلیکیشن ها را برای انسان بهتر می کند. اما یک گونه جدید در جمعیت رشد می کند: ربات های عامل.
برای دو دهه، ما سایتها را برای GoogleBot بهینهسازی کردیم. به زودی، میتو،م روی کمککنندگان هوش مصنوعی که به،وان واسطه بین انسانها و وب باز عمل میکنند، تمرکز کنیم.
ما قبلاً برای BotNet با طرحواره و فیدهای محصول در Merchant Center Google بهینه سازی کرده ایم. نقشههای سایت XML دههها پیش به ج، تبدیل شدهاند.
در سطح بعدی، ما میتو،م وبسایتها یا APIهای مجزا برای رباتهای عامل با میدان بازی بازاریابی کاملاً جدید داشته باشیم.
وب نمایندگی
از آنجایی که در حال نزدیک شدن به دریافت بیشتر ربات از ترافیک انس، در وب باز هستیم، لازم است به خاطر داشته باشید که حدود 65 درصد از ترافیک ربات ها م،ب ،ن زده می شود.
رباتهای خوب شامل ،اشهای موتورهای جستجو، ابزارهای سئو، دفاع امنیتی و البته ،ندههای هوش مصنوعی هستند. جمعیت هر دو نوع ربات در حال افزایش است، اما فقط موارد خوب واقعا مفید هستند.
در مقایسه با شش ماه گذشته، ،ندههای هوش مصنوعی 18 درصد رشد ،د در حالی که سرعت موتورهای جستجو 10 درصد کاهش یافت. GoogleBot به طور خاص فعالیت را تا -1.6٪ کاهش داد.
با این حال، ،نده هوش مصنوعی گوگل با افزایش 1.4 درصدی آن را جبران کرد. GPT Bot با 3.8 درصد از کل درخواستها، فعالترین ،نده هوش مصنوعی بود و 12 درصد رشد داشت.
،نده هوش مصنوعی گوگل 62 درصد رشد کرد و مسئول 3.7 درصد از درخواست های ربات بود. با توجه به نرخ رشد فعلی، ،نده هوش مصنوعی گوگل به زودی فعال ترین ،نده در وب خواهد بود.
امروزه ربات های هوش مصنوعی سه هدف دارند:
- جمع آوری داده های آموزشی
- یک فهرست جستجو برای پایه پاسخ های LLM (RAG) بسازید.
- دادههای بیدرنگ را برای درخواستهایی که نیاز به تازگی دارند، جمعآوری کنید.
اما در حال حاضر، همه توسعه دهندگان بزرگ هوش مصنوعی روی عواملی کار می کنند که وب را مرور می کنند و برای کاربران اقداماتی انجام می دهند:
- کلود اولین بار با ویژگی محصول «استفاده از رایانه» خود بود: «توسعهدهندگان میتوانند کلود را به استفاده از رایانهها به روشی که مردم انجام میدهند هدایت کنند – با نگاه ، به صفحه، حرکت مکاننما، کلیک ، روی دکمهها و تایپ متن».
- جارویس Google، “یک همراه مفید که برای شما در وب گشت و گذار می کند” به طور تصادفی به طور لحظه ای در فروشگاه کروم راه اندازی شد.
- OpenAI روی “اپراتور” کار می کند، همچنین عاملی که برای شما اقدام می کند.
من سه نتیجه ممکن را می بینم:
- عامل ها با ،یدن و بازدید از وب سایت ها، ترافیک ربات ها را در وب باز به طور قابل توجهی افزایش می دهند.
- عوامل استفاده می کنند API ها برای ،ب اطلاعات
- Agent ها بر روی پلتفرم خود کار می کنند، به این م،ی که اپراتور به جای جمع آوری داده های خود، فقط از داده های ChatGPT استفاده می کند.
من فکر می کنم ،یبی از هر سه به احتمال زیاد است، و در نتیجه ترافیک ربات رشد قابل توجهی خواهد داشت.
اگر این درست باشد، شرکتها به طور فزایندهای نسخههای جداگانهای از سایت خود را برای رباتها میسازند که برای سرعت و دادههای ساختاریافته طراحی شدهاند. «فقط روی کاربر تمرکز کن» به «فقط تمرکز روی عوامل» تبدیل میشود.
به نوعی، جستجوی ChatGPT در حال حاضر عاملی است که وب را برای انسان ها مرور و مدیریت می کند. اما اگر نمایندگان به وعده خود عمل کنند، می تو،د انتظارات بسیار بیشتری داشته باشید.
سام ،من، مدیر عامل OpenAI در اخیر خود گفت Reddit یا، “من فکر می کنم چیزی که به نظر می رسد موفقیت بزرگ بعدی باشد، ماموران خواهند بود.”
در حالی که ربات ها وب را تسخیر می کنند، انسان ها چه می کنند؟
پذیرش اینترنتی
بعید است که انسان ها وبگردی را به طور کامل متوقف کنند.
حتی با وجود پاسخهای هوش مصنوعی در جستجو و ویژگیهای جستجو در رباتهای چت هوش مصنوعی، انسانها همچنان میخواهند اظهارات هوش مصنوعی را تأیید کنند، بهطور تصادفی الهام بگیرند (سرندیپیتی)، یا به دنبال پاسخ از سایر انسانها (Reddit) باشند.
اما اگر رباتها به اندازه کافی خوب شوند، عمل مرور برای جستجو احتمالاً در دستورات منحل میشود.
جا برای رشد ترافیک انس، وجود دارد: 70٪ از جمعیت جهان در سال 2023 به اینترنت دسترسی داشتند. با سرعت فعلی (حدود 7٪ سالانه) تا سال 2030 کل جهان به اینترنت دسترسی خواهد داشت.
با این حال، علیرغم پذیرش رو به رشد اینترنت، ترافیک انس، در سه سال گذشته ثابت بوده است (به آمار Cloudflare مراجعه کنید). ،ندههای هوش مصنوعی بسیار سریعتر رشد میکنند (18%)، و عوامل ممکن است سرعت آن را بیشتر کنند.
درخواست های انسان از ویکی پدیا، بزرگترین سایت وب، از سال 2019 راکد مانده است.
دلیل آن این است که توجه انسان به پلتفرم های اجتماعی، به ویژه برای نسل های جوان تر، تغییر می کند. همانطور که ربات ها وب باز را می گیرند، انسان ها به سمت عقب نشینی های تعامل فرار می کنند.
بازاریابی
در آیندهای دور، رباتهای خوب میتوانند به شهروندان حقوق برابر کشور وب باز تبدیل شوند، زیرا انسانهای بیشتری در پلتفرمهای اجتماعی بسته وقت میگذرانند و LLMهای عامل رشد سریع ترافیک رباتها را افزایش میدهند. اگر این تئوری اجرا شود، این برای بازاریابی و به طور خاص سئو چه م،ایی دارد؟
تصور کنید یک سفر رزرو کرده اید. بهجای مرور Google یا Booking، به نماینده خود میگویید که در مورد رفتن به کجا و چه زم، فکر میکنید.
بر اساس آنچه در مورد ترجیحات شما می داند، نماینده شما سه گزینه پرواز و هتل را از پلتفرم مورد نظر شما مدیریت می کند.
وقتی پروازی را انتخاب می کنید، به تقویم شما اضافه می شود و بلیط ها در صندوق ورودی شما هستند. شما نیازی به تسویه حساب ندارید. نماینده همه کارها را برای شما انجام می دهد. شما می تو،د همین سناریو را برای تجارت الکترونیک یا نرم افزار اعمال کنید.
با توجه به اینکه شرکت هایی مانند گوگل در حال حاضر توانایی ساخت این را دارند، ارزش دارد به این فکر کنیم که چه چیزی ثابت می ماند، چه چیزی تغییر می کند و چه چیزی در این چشم انداز اهمیت بیشتری پیدا می کند.
ثابت
ربات ها به CSS یا تصاویر قهرمان نیاز ندارند. هیچ نقطه ضعفی برای پنهان ، سایت شما برای ،ندههای LLM وجود ندارد، بنابراین این احتمال وجود دارد که وبسایتها نسخه bare،s را به رباتها نشان دهند.
مجموعه مهارت هایی که در آینده ثابت می ماند سئوی فنی است: ،یدن، سرعت (سرور)، پیوند داخلی و داده های ساختاریافته.
تغییر دهید
یک وب باز عاملی قابلیتهای بسیار بهتری برای هدفگیری تبلیغات ارائه میدهد، زیرا رباتها صاحبان خود را از درون میشناسند.
انسانها تصمیمات ،ید را خیلی سریعتر میگیرند، زیرا نمایندگان آنها تمام اطلاعات مورد نیاز را به آنها میدهند و ترجیحات آنها را میدانند.
هزینه های تبلیغات به طور قابل توجهی کاهش می یابد و حتی بازدهی بالاتری نسبت به امروز ارائه می دهد.
از آنجایی که ربات ها می توانند هر چیزی را در چند ث،ه ترجمه کنند، محلی سازی و فروش بین المللی دیگر مشکلی نیست. انسانها میتوانند از هر ،ی و در هر کجا ،ید کنند – فقط با محدودیتهای حمل و نقل و موجودی. اقتصاد جه، بازتر می شود.
اگر درست بازی کنیم، نمایندگان میتوانند حافظان نهایی حریم خصوصی باشند: هیچ، به اندازه آنها اطلاعاتی درباره شما ندارد، اما شما میتو،د میزان اشتراکگذاری آنها را کنترل کنید.
نمایندگان شما را می شناسند اما نیازی به اشتراک گذاری آن اطلاعات با دیگران ندارند. ما ممکن است حتی داده های بیشتری را با آنها به اشتراک بگذاریم، چرخ لنگر مقدار داده ها → درک → نتایج → داده → مقدار → نتایج → و غیره.
از جنبه منفی، ما باید با تعریف مجدد کارهایی که رباتها در قالبی شبیه robots.txt 2.0 مجاز به انجام آن هستند، دفاعی در برابر رباتهای سرکش ایجاد کنیم. امنیت سایبری حتی مهمتر شده است، اما همچنین پیچیدهتر شده است زیرا رباتهای بد میتوانند خیلی بهتر از رباتهای خوب تقلید کنند.
ما باید اثرات زیست محیطی مصرف انرژی بیشتر توسط ترافیک ربات بیشتر را بفهمیم.
امیدواریم رباتها کارآمدتر باشند و بنابراین ترافیک وب کمتری نسبت به انسانها ایجاد کنند. این حداقل تا حدودی انرژی دره ای را که LLM ها در حال حاضر ایجاد کرده اند جبران می کند.
مهم است
من، ترین فرمت اطلاعات خام و ساختار یافته است: فیدهای XML، RSS و API. ما قبلاً فیدهای محصول و نقشههای سایت XML را برای Google ارسال کردهایم، اما نمایندگان بیشتر میخواهند.
طراحی وب سایت در آینده اهمیت کمتری خواهد داشت و شاید این مشکلی نداشته باشد زیرا ا،ر سایت ها به هر حال بسیار شبیه به هم هستند.
طراحی فید اهمیت بیشتری پیدا میکند: چه اطلاعاتی باید در فیدها گنجانده شود، چقدر، هر چند وقت یکبار بهروزرس، شود و چه درخواستهایی برای ارسال مجدد به رباتها.
بازاریابان زمان بسیار بیشتری را صرف مهندسی مع، خواهند کرد که مکالمات با چت بات ها چگونه است. رباتها احتمالاً جعبه سیاهی مانند الگوریتم گوگل خواهند بود، اما تبلیغات میتواند چیزی را که مردم بیشتر میپرسند روشن کند.
روابط
در آینده نمایندگی، پس از اینکه مشتریان بر روی برندی که دوست دارند تسویه حساب کنند، سخت است که مشتریان را به سمت تغییر سوق دهیم تا زم، که تجربه بدی نداشته باشند.
در نتیجه، یک اهرم بازاریابی مهم این است که مشتریان را وادار کنید تا برند شما را با کمپین هایی مانند تخفیف ها و پیشنهادات انحصاری امتحان کنند.
هنگامی که مطمئن شدید و علامت می دهید که محصول شما بهتر است، تلاش کاربران را متقاعد می کند تا آن را امتحان کنند. بدیهی است که امروز کار می کند.
با فرصتهای بسیار زیادی برای تبلیغ و سوق دادن کاربران به سمت یک محصول خاص قبل از ،ید، تأثیر بسیار بیشتری در ،ید داریم.
اما، در آینده، نمایندگان می توانند این انتخاب ها را برای کاربران انجام دهند. بازاریابان زمان بیشتری را صرف ایجاد رابطه، ایجاد آگاهی از برند و تأثیرگذاری خواهند کرد عوامل بازاریابی قدیمی مانند قیمت گذاری، توزیع (حمل و نقل)، و تمایز.
رادار Cloudflare: Traffic Trends
ربات ها 42 درصد از ترافیک کلی وب را تشکیل می دهند. نزدیک به دو سوم افراد م،ب هستند
رادار Cloudflare: Data Explorer
معرفی استفاده از رایانه، غزل جدید کلود 3.5 و هایکو کلود 3.5
وجود افزونه Jarvis AI گوگل در فروشگاه کروم فاش شد
OpenAI به راه اندازی ابزار عامل هوش مصنوعی برای خودکارسازی وظایف برای کاربران نزدیک می شود
تصویر ویژه: پاول شعر/ژورنال موتور جستجو
منبع: https://www.searchenginejournal.com/rapid-growth-of-bots-could-change-the-open-web/532975/