پیام جوان: در یک دستاورد مهم در حوزه هوش مصنوعی، محققان دانشگاه‌های استنفورد و واشنگتن موفق به توسعه مدل استدلالی “S1” با هزینه‌ای کمتر از ۵۰ دلار شدند. این پیشرفت نشان می‌دهد که امکان توسعه مدل‌های هوش مصنوعی کارآمد با منابع محدود وجود دارد.
تحولی در کاهش هزینه‌های آموزش مدل‌های زبانی
مدل‌های زبانی بزرگ در سال‌های اخیر پیشرفت‌های قابل‌توجهی داشته‌اند و در وظایفی همچون پردازش زبان طبیعی، ترجمه ماشینی و تولید متن عملکرد چشمگیری نشان داده‌اند. با این حال، هزینه‌های بالای آموزش این مدل‌ها همواره یک چالش بوده است. مدل “S1” با هدف کاهش این هزینه‌ها و ارائه راهکاری کارآمدتر برای آموزش مدل‌های زبانی طراحی شده است.
استفاده از روش “مقیاس‌گذاری در زمان آزمون”
محققان برای توسعه این مدل از رویکردی به نام “مقیاس‌گذاری در زمان آزمون” (Test-time scaling) بهره برده‌اند. این روش شامل افزایش منابع محاسباتی در زمان استنتاج مدل برای بهبود عملکرد آن است. در این پژوهش، تیم تحقیقاتی مجموعه داده‌ای کوچک شامل ۱۰۰۰ سؤال همراه با مسیرهای استدلالی و پاسخ‌های مرتبط را تهیه کرده است که از تنوع و کیفیت بالایی برخوردار است.
آموزش سریع و کم‌هزینه مدل “S1”
پس از گردآوری مجموعه داده، مدل پایه با استفاده از روش “پیش‌بینی توکن بعدی” آموزش داده شد. نکته قابل‌توجه این است که فرآیند آموزش تنها ۲۶ دقیقه طول کشید و برای این کار از ۱۶ واحد پردازش گرافیکی (GPU) مدل H100 استفاده شد.
نوآوری در تکنیک “تحمیل بودجه”
یکی از مهم‌ترین نوآوری‌های این تحقیق، معرفی تکنیکی به نام “تحمیل بودجه” (Budget forcing) است. این روش به کنترل مدت زمان استدلال مدل در هنگام آزمون کمک می‌کند. در واقع، با این تکنیک، می‌توان مدت زمانی که مدل برای تولید پاسخ صرف می‌کند را مدیریت و تنظیم کرد. این کار با افزودن یا حذف توکن‌های خاصی در خروجی مدل انجام می‌شود که باعث ادامه یا خاتمه استدلال مدل می‌شود.
عملکرد برتر مدل “S1” در آزمون‌های استدلالی
مدل “S1” در آزمون‌های مختلف عملکرد قابل‌توجهی از خود نشان داده است. به عنوان مثال، در آزمون‌های ریاضی رقابتی مانند MATH و AIME24، این مدل تا ۲۷ درصد بهتر از مدل “o1” شرکت OpenAI عمل کرده است. این نتایج، توانمندی مدل “S1” در انجام وظایف استدلالی پیچیده را نشان می‌دهد.
چشم‌انداز آینده هوش مصنوعی کم‌هزینه
این تحقیق نشان می‌دهد که با بهینه‌سازی‌های هوشمندانه و روش‌های نوآورانه، می‌توان مدل‌های هوش مصنوعی را با هزینه‌های به‌مراتب پایین‌تر توسعه داد. این پیشرفت می‌تواند دسترسی به فناوری‌های هوش مصنوعی را دموکراتیزه کند و استفاده از این فناوری را برای سازمان‌ها و افرادی با منابع محدود تسهیل نماید.
با توجه به نتایج امیدوارکننده این پژوهش، انتظار می‌رود که در آینده تحقیقات بیشتری در زمینه “مقیاس‌گذاری در زمان آزمون” و روش‌های مشابه انجام شود. این تحقیقات می‌توانند به توسعه مدل‌های هوش مصنوعی با کارایی بالاتر و هزینه‌های کمتر منجر شوند و کاربردهای گسترده‌ای در حوزه‌های مختلف از جمله آموزش، پزشکی، و پردازش داده‌های پیچیده داشته باشند.
بر اساس گزارش VOA
