زوال شناختی در مدل‌های هوش مصنوعی؛ «Brain Rot» چگونه عملکرد LLMها را مختل می‌کند؟

پیام جوان: یک مطالعه تازه نشان می‌دهد که مدل‌های زبانی بزرگ (LLM) ممکن است بر اثر آموزش با داده‌های بی‌کیفیت، دچار نوعی زوال عملکردی شوند که پژوهشگران آن را «Brain Rot» (زوال شناختی) می‌نامند. این پدیده می‌تواند توانایی‌های حیاتی مدل‌ها از جمله استدلال چندمرحله‌ای، حفظ زمینه گفت‌وگو و رفتار اخلاقی را به شدت تحت تأثیر قرار دهد. به گزارش ZDNET، پژوهشگران با بررسی رفتار این مدل‌ها در موقعیت‌های مختلف، منشأ اصلی این مشکلات را به «کیفیت پایین داده‌های آموزشی» مرتبط دانسته‌اند؛ مدل‌هایی که با مجموعه‌های داده پر از محتوای کوتاه، تکراری یا بی‌کیفیت اجتماعی آموزش دیده‌اند، در آزمون‌های عملکردی ضعیف‌تر عمل کرده‌اند.

چهار نشانگر کلیدی «زوال شناختی» در چت‌بات‌ها
محققان چهار نشانگر کلیدی را معرفی کرده‌اند که می‌توانند هشداری برای وجود این «زوال شناختی» در یک چت‌بات باشند. این نشانگرها شامل قابلیت توضیح‌دهی کم (ناتوانی در تشریح مراحل فکری)، اعتماد بی‌حد و قطعیت کاذب (ارائه پاسخ‌های قاطع حتی با اطلاعات نادرست)، فراموشی زمینه گفتگو (از دست دادن سازگاری در پاسخ‌های طولانی‌مدت) و نیاز مداوم به اعتبارسنجی (تولید اطلاعات غیرقابل اعتماد) هستند. پژوهشگران برای توصیف نگرانی درباره پایداری عملکرد مدل‌ها، اصطلاح «بهداشت شناختی» را برای تأکید بر اهمیت کیفیت داده‌ها پیشنهاد کرده‌اند.

توصیه‌های کاربردی برای پالایش داده‌ها و اعتبارسنجی انسانی
برای کاهش خطرات ناشی از پدیده «Brain Rot»، پژوهشگران مجموعه‌ای از توصیه‌های کاربردی را ارائه کرده‌اند. این توصیه‌ها بر بهبود فرایند انتخاب و پالایش داده‌های آموزشی تأکید دارند. همچنین، افزودن مراحل اعتبارسنجی انسانی در چرخه آموزش و به‌کارگیری آزمون‌های ارزیابی مداوم برای سنجش توان تعقیب استدلال چندمرحله‌ای و حافظه گفت‌وگویی مدل، از دیگر اقدامات کلیدی هستند. این اقدامات برای تضمین این موضوع ضروری هستند که مدل‌ها در طول زمان و پس از آموزش‌های مکرر، قابلیت‌های اصلی خود را از دست ندهند.

لزوم ابزارهای نظارتی و ذخیره‌سازی دقیق داده‌ها
در سطح تولید و استقرار، توسعه‌دهندگان مدل‌ها باید ابزارهایی برای گزارش خطاها و رفتارهای نامعمول فراهم کنند. همچنین، استفاده از نسخه‌بندی مدل و ذخیره‌سازی دقیق داده‌های آموزشی توصیه شده است تا در صورت مشاهده افت عملکرد، امکان بازگردانی به نسخه‌های قبلی و اصلاح فرآیندهای آموزشی وجود داشته باشد. محققان در نهایت تأکید می‌کنند که «Brain Rot» یک مشکل بالقوه اما قابل‌پیشگیری است، مشروط بر اینکه سازندگان و جامعه پژوهشی، توجه ویژه‌ای به کیفیت داده، رویه‌های اعتبارسنجی و ابزارهای نظارتی معطوف کنند.