متا از لاما ۴، نسل جدید مدل‌های هوش مصنوعی رونمایی کرد

معرفی لاما ۴

متا مجموعه جدیدی از مدل‌های هوش مصنوعی به نام لاما ۴ را در خانواده لاما منتشر کرده است - و این کار در روز شنبه انجام شده است.

در مجموع چهار مدل جدید وجود دارد: لاما ۴ اسکات، لاما ۴ موریس و لاما ۴ بیهموت. به گفته متا، همه این مدل‌ها بر روی "مقادیر زیادی از داده‌های متنی، تصویری و ویدیویی بدون برچسب" آموزش دیده‌اند تا "درک بصری وسیعی" به آن‌ها بدهند.

تأثیر مدل‌های متن باز

موفقیت مدل‌های متن باز از آزمایشگاه هوش مصنوعی چینی DeepSeek، که عملکردی برابر یا بهتر از مدل‌های قبلی لاما متا دارند، به گزارش‌ها باعث تسریع توسعه لاما شده است. گفته می‌شود که متا اتاق‌های جنگی را به منظور رمزگشایی از چگونگی کاهش هزینه‌های اجرای مدل‌هایی مانند R1 و V3 تشکیل داده است.

دسترس‌پذیری مدل‌ها

Mark Zuckerberg, chief executive officer of Meta Platforms Inc., during the Meta Connect event in Menlo Park, California, US, on Wednesday, Sept. 25, 2024. Meta Platforms Inc. debuted its first pair of augmented reality glasses, devices that show a combined view of the digital and physical worlds, a key step in Chief Executive Officer Mark Zuckerberg's goal of one day offering a hands-free alternative to the smartphone. Photographer: David Paul Morris/Bloomberg via Getty Images

مدل‌های اسکات و موریس به صورت عمومی در Llama.com و از طریق شرکای متا، از جمله پلتفرم توسعه‌دهنده هوش مصنوعی Hugging Face، در دسترس هستند، در حالی که بیهموت هنوز در حال آموزش است. متا اعلام کرده است که دستیار هوش مصنوعی خود، متا AI، که در اپلیکیشن‌هایی مانند واتس‌اپ، مسنجر و اینستاگرام فعالیت می‌کند، به‌روزرسانی شده است تا از لاما ۴ در ۴۰ کشور استفاده کند. ویژگی‌های چندرسانه‌ای در حال حاضر فقط به زبان انگلیسی و در ایالات متحده محدود است.

مجوز استفاده از لاما ۴

برخی از توسعه‌دهندگان ممکن است با مجوز لاما ۴ مشکل داشته باشند. کاربران و شرکت‌هایی که "در اتحادیه اروپا مستقر" هستند یا "محل اصلی کسب‌وکار" آن‌ها در این منطقه است، از استفاده یا توزیع مدل‌ها منع شده‌اند، که احتمالاً نتیجه الزامات نظارتی ناشی از قوانین هوش مصنوعی و حریم خصوصی داده‌ها در این منطقه است. (در گذشته، متا این قوانین را به عنوان بار اضافی توصیف کرده است.) علاوه بر این، مانند نسخه‌های قبلی لاما، شرکت‌هایی که بیش از ۷۰۰ میلیون کاربر فعال ماهانه دارند، باید مجوز ویژه‌ای از متا درخواست کنند که متا می‌تواند آن را به صلاحدید خود صادر یا رد کند.

معماری مدل‌های لاما ۴

این مدل‌های لاما ۴ آغازگر یک دوره جدید برای اکوسیستم لاما هستند. متا در یک پست وبلاگی نوشت: "این فقط آغاز مجموعه لاما ۴ است." متا می‌گوید که لاما ۴ اولین گروه از مدل‌های خود است که از معماری مخلوطی از متخصصان (MoE) استفاده می‌کند، که برای آموزش و پاسخگویی به پرسش‌ها از نظر محاسباتی کارآمدتر است. معماری‌های MoE اساساً وظایف پردازش داده را به زیر وظایف تقسیم کرده و سپس آن‌ها را به مدل‌های "متخصص" کوچکتر و تخصصی واگذار می‌کنند.

عملکرد مدل‌ها

به عنوان مثال، موریس دارای ۴۰۰ میلیارد پارامتر کل است، اما فقط ۱۷ میلیارد پارامتر فعال در ۱۲۸ "متخصص" دارد. (پارامترها به طور تقریبی با مهارت‌های حل مسئله یک مدل مطابقت دارند.) اسکات دارای ۱۷ میلیارد پارامتر فعال، ۱۶ متخصص و ۱۰۹ میلیارد پارامتر کل است.

بر اساس آزمایش‌های داخلی متا، موریس که به گفته شرکت برای موارد استفاده "دستیار عمومی و چت" مانند نوشتن خلاقانه بهترین است، در برخی از معیارهای کدنویسی، استدلال، چندزبانه، زمینه طولانی و تصویر از مدل‌هایی مانند GPT-4o اوپن‌ای آی و Gemini 2.0 گوگل پیشی می‌گیرد. با این حال، موریس به اندازه مدل‌های جدیدتر و قوی‌تر مانند Gemini 2.5 Pro گوگل، Claude 3.7 Sonnet آنتروپیک و GPT-4.5 اوپن‌ای آی عملکرد ندارد.

نقاط قوت اسکات در وظایفی مانند خلاصه‌سازی اسناد و استدلال بر روی پایگاه‌های کد بزرگ نهفته است. به طور منحصر به فرد، این مدل دارای یک پنجره زمینه بسیار بزرگ است: ۱۰ میلیون توکن. (توکن‌ها نمایانگر بخش‌هایی از متن خام هستند - به عنوان مثال، کلمه "فوق‌العاده" به "فان"، "تاس" و "تیک" تقسیم می‌شود.) به زبان ساده، اسکات می‌تواند تصاویر و تا میلیون‌ها کلمه را دریافت کند و به این ترتیب می‌تواند با اسناد بسیار طولانی کار کند.

نیازمندی‌های سخت‌افزاری

اسکات می‌تواند بر روی یک GPU Nvidia H100 اجرا شود، در حالی که موریس بر اساس محاسبات متا به یک سیستم Nvidia H100 DGX یا معادل آن نیاز دارد.

مدل بیهموت که هنوز منتشر نشده است، به سخت‌افزار بسیار قوی‌تری نیاز دارد. به گفته شرکت، بیهموت دارای ۲۸۸ میلیارد پارامتر فعال، ۱۶ متخصص و نزدیک به دو تریلیون پارامتر کل است. ارزیابی‌های داخلی متا نشان می‌دهد که بیهموت در چندین ارزیابی که مهارت‌های STEM مانند حل مسئله ریاضی را اندازه‌گیری می‌کند، از GPT-4.5، Claude 3.7 Sonnet و Gemini 2.0 Pro (اما نه 2.5 Pro) پیشی می‌گیرد.

مدل‌های استدلالی

قابل توجه است که هیچ‌یک از مدل‌های لاما ۴ به عنوان مدل‌های "استدلالی" به معنای مدل‌های o1 و o3-mini اوپن‌ای آی شناخته نمی‌شوند. مدل‌های استدلالی پاسخ‌های خود را بررسی می‌کنند و به طور کلی به سوالات به طور قابل اعتمادتری پاسخ می‌دهند، اما در نتیجه زمان بیشتری نسبت به مدل‌های "غیر استدلالی" سنتی برای ارائه پاسخ‌ها نیاز دارند.

تغییرات در پاسخ‌ها

جالب است که متا می‌گوید که همه مدل‌های لاما ۴ خود را تنظیم کرده‌اند تا کمتر به سوالات "جنجالی" پاسخ منفی دهند. به گفته شرکت، لاما ۴ به موضوعات سیاسی و اجتماعی "مورد بحث" که مدل‌های قبلی لاما به آن‌ها پاسخ نمی‌دادند، پاسخ می‌دهد. علاوه بر این، شرکت می‌گوید که لاما ۴ "به طور قابل توجهی متعادل‌تر" است و به کدام درخواست‌ها به طور کامل پاسخ نمی‌دهد.

یک سخنگوی متا به گفت: "شما می‌توانید روی [لاما ۴] حساب کنید که پاسخ‌های مفید و واقعی بدون قضاوت ارائه دهد. ما همچنان در حال بهبود پاسخگویی لاما هستیم تا به سوالات بیشتری پاسخ دهد، بتواند به دیدگاه‌های مختلف پاسخ دهد [...] و به برخی دیدگاه‌ها نسبت به دیگران تمایل نداشته باشد."

این تغییرات در حالی صورت می‌گیرد که برخی از هم‌پیمانان کاخ سفید، چت‌بات‌های هوش مصنوعی را به خاطر اینکه بیش از حد "بیدار" سیاسی هستند، متهم می‌کنند.

بسیاری از نزدیکان رئیس‌جمهور دونالد ترامپ، از جمله میلیاردر ایلان ماسک و "کارشناس" کریپتو و هوش مصنوعی دیوید ساکس، ادعا کرده‌اند که چت‌بات‌های هوش مصنوعی محبوب دیدگاه‌های محافظه‌کارانه را سانسور می‌کنند. ساکس به طور تاریخی ChatGPT اوپن‌ای آی را به عنوان "برنامه‌ریزی شده برای بیدار بودن" و غیرصادقانه در مورد موضوعات سیاسی مورد انتقاد قرار داده است.

در واقع، تعصب در هوش مصنوعی یک مشکل فنی غیرقابل حل است. شرکت هوش مصنوعی خود ماسک، xAI، در ایجاد چت‌باتی که به برخی دیدگاه‌های سیاسی نسبت به دیگران تمایل نداشته باشد، با چالش مواجه شده است.

این موضوع مانع از آن نشده است که شرکت‌هایی از جمله اوپن‌ای آی مدل‌های هوش مصنوعی خود را تنظیم کنند تا به سوالات بیشتری نسبت به گذشته پاسخ دهند، به ویژه سوالات مربوط به موضوعات جنجالی.