پیام جوان: شرکت اوپن‌ای‌آی در یک پست وبلاگی تازه، «توهمات» را به‌عنوان «گزاره‌های محتمل اما نادرست تولیدشده توسط مدل‌های زبانی» تعریف و تأکید کرد این چالش همچنان پابرجاست و هرگز به‌طور کامل از بین نخواهد رفت. به گزارش تک‌کرانچ، پژوهشگران این شرکت با ذکر نمونه‌ای توضیح دادند که وقتی از یک چت‌بات درباره عنوان رساله دکتری یکی از نویسندگان مقاله پرسیده شد، سه پاسخ متفاوت و همه اشتباه ارائه داد؛ در مورد تاریخ تولد همان فرد نیز سه پاسخ مختلف و باز هم نادرست دریافت شد.

پژوهشگران می‌گویند علت اصلی این پدیده به فرایند پیش‌آموزش برمی‌گردد؛ جایی که مدل صرفاً بر اساس پیش‌بینی کلمه بعدی آموزش می‌بیند، بدون آنکه داده‌ها با برچسب درست یا غلط همراه باشند. به گفته آنان، در حالی‌که الگوهای زبانی تکرارشونده با افزایش مقیاس بهتر یاد گرفته می‌شوند، حقایق جزئی و پراکنده ـ مانند تاریخ تولد یا اطلاعات شخصی ـ صرفاً از طریق الگوها قابل پیش‌بینی نیستند و این همان جایی است که «توهم» شکل می‌گیرد.

با این حال، تمرکز مقاله نه بر تغییر روش پیش‌آموزش، بلکه بر نحوه ارزیابی مدل‌های زبانی است. پژوهشگران می‌گویند ارزیابی‌های رایج که صرفاً بر دقت (درصد پاسخ‌های درست) استوارند، مدل‌ها را به حدس زدن تشویق می‌کنند؛ مشابه آزمون‌های چندگزینه‌ای که در آن‌ها پر کردن هر گزینه بهتر از خالی گذاشتن پاسخ تلقی می‌شود. این موضوع باعث می‌شود مدل‌ها به جای گفتن «نمی‌دانم»، پاسخی احتمالی اما نادرست تولید کنند.

راه‌حل پیشنهادی، الگوبرداری از آزمون‌هایی مانند SAT است که برای پاسخ‌های اشتباه نمره منفی و برای عدم پاسخ امتیاز جزئی در نظر می‌گیرند. اوپن‌ای‌آی پیشنهاد می‌کند ارزیابی‌های جدید باید خطاهای مطمئن را شدیدتر جریمه کنند و در مقابل، برای بیان عدم قطعیت امتیاز بدهند. پژوهشگران هشدار داده‌اند اگر تابلوهای امتیاز همچنان بر حدس‌های خوش‌شانس پاداش دهند، مدل‌ها به یادگیری همین رفتار ادامه خواهند داد.