کلون متن باز جدید ChatGPT


متن باز GPT Chat با انتشار مدل زبان بزرگ دالی (DLL) ایجاد شده توسط شرکت نرم افزاری سازم، Databricks، گام دیگری به جلو برداشت.

کلون جدید ChatGPT Dolly نام دارد که به نام ، معروف به این نام، اولین ،دار شبیه سازی شده، نامگذاری شده است.

مدل های زبان بزرگ منبع باز

Dolly LLM آ،ین تجلی جنبش رو به رشد هوش مصنوعی منبع باز است که به دنبال ارائه دسترسی بیشتر به این فناوری است تا در انحصار و کنترل شرکت های بزرگ قرار نگیرد.

یکی از نگر،‌هایی که جنبش AI منبع باز را هدایت می‌کند این است که ،ب‌وکارها ممکن است تمایلی به تحویل داده‌های حساس به شخص ثالثی که فناوری هوش مصنوعی را کنترل می‌کند، نداشته باشند.

بر اساس منبع باز

Dolly از یک مدل منبع باز ایجاد شده توسط موسسه تحقیقاتی غیرانتفاعی EleutherAI و دانشگاه استنفورد ایجاد شده است. مدل آلپاکا که خود از 65 میلیارد پارامتر منبع باز ایجاد شده است مدل ایجاد شده توسط متا

LLaMA که مخفف Large Language Model Meta AI است، یک مدل زب، است که بر روی داده های در دسترس عموم آموزش داده شده است.

طبق مقاله ای از وزن ها و سوگیری هاLLaMA با وجود کوچکتر بودن می تواند از بسیاری از مدل های زبان برتر (OpenAI GPT-3، Gopher توسط Deep Mind و Chinchilla توسط DeepMind) بهتر عمل کند.

ایجاد مجموعه داده بهتر

الهام دیگر از یک مقاله تحقیقاتی دانشگاهی (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF) که روشی را برای ایجاد یک داده آموزشی پرسش و پاسخ با کیفیت بالا که بهتر از داده های عمومی محدود است، ترسیم می کند.

مقاله تحقیقاتی Self-Instruct توضیح می دهد:

ما مجموعه‌ای از دستورالعمل‌های نوشته‌شده توسط متخصص را برای کارهای جدید تنظیم می‌کنیم و از طریق ارزیابی انس، نشان می‌دهیم که تنظیم GPT3 با SELF-INSTRUCT با استفاده از مجموعه داده‌های دستورالعمل عمومی موجود با یک حاشیه بسیار بهتر عمل می‌کند و تنها یک شکاف مطلق 5 درصدی را پشت سر InstructGPT باقی می‌گذارد…

… با استفاده از روش خود برای و،لی GPT3، ما 33 درصد بهبود مطلق را نسبت به مدل اصلی در SUPERNATURALINSTRUCTIONS نشان می دهیم، همتراز با عملکرد InstructGPT… که با داده های کاربر خصوصی و حاشیه نویسی های انس، آموزش داده شده است.

اهمیت Dolly در این است که نشان می دهد که یک مدل زبان بزرگ مفید را می توان با مجموعه داده کوچکتر اما با کیفیت بالا ایجاد کرد.

Databricks مشاهده می کند:

دالی با استفاده از مدل منبع باز 6 میلیارد پارامتری موجود از EleutherAI و اصلاح آن تا حد کمی برای است،اج دستورالعمل هایی مانند طوفان مغزی و تولید متن که در مدل اصلی وجود ندارد، با استفاده از داده های Alpaca کار می کند.

ما نشان می‌دهیم که هر ،ی می‌تواند یک مدل زبان بزرگ منبع باز (LLM) را تهیه کند و با آموزش آن در 30 دقیقه روی یک دستگاه، با استفاده از داده‌های آموزشی با کیفیت بالا، دستورالعمل‌های جادویی مانند ChatGPT را به آن ارائه دهد.

با کمال تعجب، به نظر نمی‌رسد که پیروی از دستورالعمل‌ها به جدیدترین یا بزرگ‌ترین مدل‌ها نیاز داشته باشد: مدل ما تنها 6 میلیارد پارامتر دارد، در مقایسه با 175 میلیارد برای GPT-3.

Databricks منبع باز AI

گفته می شود که دالی هوش مصنوعی را دموکراتیک می کند. این بخشی از یک جنبش لباس مجلسی است که اخیراً توسط سازمان غیرانتفاعی موزیلا با تأسیس Mozilla.ai به آن ملحق شده است. موزیلا ناشر مرورگر فایرفا، و سایر نرم افزارهای متن باز است.

اطلاعیه کامل Databricks را بخو،د:

سلام دالی: دموکراتیک ، جادوی ChatGPT با مدل‌های باز




منبع: https://www.searchenginejournal.com/new-open-source-chatgpt-clone-called-dolly/483202/