وقتی مدل چیزی می‌سازد که وجود ندارد

قسمتِ قبل گفتیم مدلِ زبانی می‌تواند چیزی بسازد که اصلاً وجودِ خارجی ندارد، و این خطا اسمِ خودش را دارد. حالا برویم ببینیمش، رو در رو.

فرض کنید دارید یک مقاله‌ی مروری برای ژورنال‌کلاب آماده می‌کنید و از مدل می‌خواهید چند منبعِ معتبر درباره‌ی میزانِ موفقیتِ درمانِ ریجنریتیو پالپ در دندان‌های نابالغ به شما بدهد. مدل بدونِ مکث جواب می‌دهد. یک فهرستِ تمیز: نامِ نویسنده‌ها، عنوانِ مقاله، نامِ ژورنال، سال، شماره‌ی جلد، حتی شماره‌ی صفحه. همه‌چیز دقیقاً همان شکلی است که یک رفرنسِ واقعی باید باشد. آن‌قدر مرتب و حرفه‌ای که هیچ دلیلی ندارید شک کنید.

ولی وقتی می‌روید آن مقاله‌ها را پیدا کنید، یکی‌دو تایشان اصلاً وجود ندارند. نه اینکه لینکش خراب باشد یا در دسترس نباشد؛ آن مقاله هرگز نوشته نشده. آن نویسنده‌ها شاید واقعی باشند، آن ژورنال هم واقعی است، ولی این مقاله‌ی مشخص با این عنوان، یک‌سره ساختگی است. مدل آن را از خودش درآورده، با همان اطمینانی که بقیه‌ی رفرنس‌های واقعی را داده بود.

به این پدیده می‌گویند هلوسینیشن (Hallucination)، یا به فارسی، توهمِ هوش مصنوعی. اسمش کمی گمراه‌کننده است، چون «توهم» در آدم‌ها یعنی دیدنِ چیزی که نیست، انگار یک حالتِ غیرعادی و خراب. ولی برای مدل، این اصلاً یک حالتِ خراب نیست؛ همان کارِ همیشگی‌اش است. مدل وقتی آن رفرنسِ جعلی را می‌سازد، دچارِ یک اشکالِ موقت نشده. دارد دقیقاً همان کاری را می‌کند که همیشه می‌کند، فقط این بار نتیجه‌اش با واقعیت جور درنمی‌آید.

و خطرناک‌ترین ویژگی‌اش همین‌جاست: هیچ تفاوتی در ظاهرِ کار نیست. وقتی مدل رفرنسِ واقعی می‌دهد و وقتی رفرنسِ جعلی می‌سازد، هر دو با یک لحن‌اند، یک اطمینان، یک شکل. مدل خودش هم علامت نمی‌زند که «این یکی را مطمئنم و آن یکی را از خودم درآوردم». برای مدل این دو فرقی ندارند. این وظیفه‌ی توست که فرقشان را بفهمی.

و هلوسینیشن فقط رفرنس نیست. می‌تواند یک دوز دارویی باشد که کمی با واقعیت فرق دارد، یک عددِ آماری که هیچ منبعی ندارد، یک پروتکلِ بالینی که منطقی به نظر می‌رسد ولی هیچ‌جا توصیه نشده، یا نسبت‌دادنِ یک حرف به یک گایدلاین که آن گایدلاین اصلاً نگفته. هر جا که مدل می‌تواند کلمه کنار کلمه بگذارد و چیزی بسازد که شکلِ درست را دارد، آنجا امکانِ هلوسینیشن هست.

حالا شاید بپرسید: خب چرا؟ چرا ابزاری که این‌همه باهوش به نظر می‌رسد، باید چیزی را از خودش بسازد به‌جای اینکه ساده بگوید «نمی‌دانم»؟ این دقیقاً همان سوالی است که جوابش کلِّ منطقِ کارِ مدل را روشن می‌کند، و سراغش می‌رویم — ولی نه همین حالا. این، موضوعِ فصلِ بعد است. فعلاً همین‌قدر کافی است که بدانی این اتفاق می‌افتد، و چه شکلی است.

یک چیز اما از همین حالا روشن است: اگر قرار است این ابزار گاهی با اطمینانِ کامل چیزی بسازد که وجود ندارد، پس نمی‌شود چشم‌بسته بهش تکیه کرد. باید یک‌جور با آن کار کرد که این خطا گیر بیفتد. و این، ما را می‌برد به نکته‌ی آخرِ این فصل.