مدل چطور فکر می‌کند و چرا گاهی مطمئن دروغ می‌گوید

فصلِ قبل نشان داد مدل کجا و چرا می‌لغزد. ولی یک تکه‌ی پنهان جا ماند، درست همان تکه‌ای که بیشتر از همه گولتان می‌زند: اگر مدل واقعاً چیزی را نمی‌داند، پس چرا این‌قدر مطمئن حرف می‌زند؟

آن لحنِ مطمئن هیچ ربطی به این ندارد که مدل چیزی را راستی‌آزمایی کرده باشد. جایی در درونش نیست که اول چک کند «این درست است؟» و بعد لحنش را بر همان اساس تنظیم کند. روانیِ جمله و درستیِ جمله هر دو از یک فرایند بیرون می‌آیند: حدسِ ادامه‌ی محتمل. و خودِ لحنِ قاطع یکی از همان چیزهای محتمل است. متن‌هایی که مدل از رویشان ساخته شده پر است از نوشته‌ی محکمِ آدم‌های مطمئن، از مقاله و کتابِ مرجع تا جوابِ کارشناس؛ پس مدل یاد گرفته جوابِ خوب «این شکلی» به نظر می‌رسد: قاطع، روان، بی‌تردید. مدل صدای تخصص را یاد گرفته، نه خودِ تخصص را.

اینجا یک عادتِ ذهنیِ ما خراب می‌شود. وقتی همکاری با اطمینان چیزی می‌گوید، آن اطمینان معمولاً معنایی دارد؛ آدمی که مطمئن نیست مِن‌من می‌کند، قید می‌گذارد، می‌گوید «فکر کنم». پیشِ مدل این پیوند از اساس بریده است. مدل می‌تواند با حداکثرِ قاطعیت درباره‌ی چیزی حرف بزند که وجود ندارد. لحنش هیچ خبری از درستیِ حرفش به شما نمی‌دهد.

و همین نشان می‌دهد «دروغ» هم کلمه‌ی غلطی بود. دروغ دو چیز می‌خواهد که مدل هیچ‌کدام را ندارد: نیتِ فریب، و حقیقتی که بداند و عمداً خلافش را بگوید. کاری که مدل می‌کند بیشتر شبیه آن بیمارِ نورولوژیک است که جای خالیِ حافظه‌اش را با روایتی منسجم و باورپذیر پر می‌کند، بی‌آنکه قصدِ دروغ داشته باشد یا اصلاً بداند جای خالی‌ای بوده. اسمِ این پدیده کانفابیولیشن (confabulation) است، و کاری را که مدل می‌کند خیلی دقیق‌تر از «دروغ» توصیف می‌کند: پر کردنِ خلأ با چیزِ محتمل، بی‌خبر از اینکه اصلاً خلائی هست.

حالا نتیجه‌ی عملی، که از خودِ این بحث مهم‌تر است. چون لحن از درستی جدا شده، مدل دقیقاً جایی خطرناک‌تر است که مطمئن‌تر به نظر می‌رسد. دو چیز از مدل بپرسید. یکی توی محدوده‌ی کارِ هر روزتان، مثلِ یک پروتکلِ ترمیمیِ ساده؛ اگر جایش را غلط بگوید همان لحظه متوجه می‌شوید، چون خودتان مسلطید. حالا همان مدل، با همان لحنِ بی‌نقص، درباره‌ی یک تداخلِ دارویی یا عددی جواب می‌دهد که معمولاً باید برایش به منبع رجوع کنید. لحن مو نمی‌زند، عینِ همان قبلی است. تنها چیزی که فرق کرده این است که این‌بار چیزی دمِ دستتان نیست که فوری بسنجیدش. پس قاطعیتِ مدل باید درست همین‌جا نگرانتان کند، چون این‌بار به مطلب آگاهی ندارید و توانِ سنجشِ درست از غلط را هم ندارید.

یک قلابِ بازِ فصلِ قبل هم می‌ماند. آنجا گفتیم ابزارهایی هست که مدل را مجبور می‌کنند فقط از منابعی استفاده کند که خودتان بهش می‌دهید (نمونه‌اش NotebookLM، که جلوتر سرِ تولیدِ محتوا درست سراغش می‌رویم)، و پرسیدیم چرا باز هم به‌کل از خطا مصون نیست. حالا جواب ساده است. این ابزارها نیمی از مشکل را حل می‌کنند: وقتی مدل مجبور است از سندِ واقعی بردارد، دیگر آن رفرنسِ ساختگی کمتر پیش می‌آید و جلوی جعل گرفته می‌شود. ولی خواندن و خلاصه‌کردنِ همان سند هنوز کارِ همان ماشینی است که نمی‌فهمد و فقط بازتولید می‌کند. پس می‌تواند یافته‌ای را که فقط در یک شرطِ خاص یا فقط در کوتاه‌مدت برقرار بوده، بی‌صدا قطعی جا بزند. سند واقعی است، لینک سالم است، و حرف هنوز غلط است.

ریشه‌اش هم همین است: فهمیدنِ یک مقاله فقط به منبعِ درست خلاصه نمی‌شود. یک درکِ انسانی از پیچیدگی‌های آن کار هم لازم است، از همان چیزهایی که لای متن پنهان‌اند و باید بینشان فرق گذاشت، و مدل دقیقاً از همین ناتوان است. به یک معنا این از آن رفرنسِ جعلی موذی‌تر است، چون آن یکی را با یک جستجوی ساده کشف می‌کردید، ولی این یکی از همان تله در امان می‌ماند. مقیّد کردنِ مدل به منبع جلوی جعل را می‌گیرد، جلوی بدفهمی را نه.

دو فصل صرفِ یک کار شد: فهمیدنِ اینکه هوش مصنوعی چیست، و کجا و چرا می‌لغزد. ولی دانستنِ جای لغزشِ یک ابزار با خوب کار کردن با آن یکی نیست. از اینجا به بعد سوال عوض می‌شود. دیگر نمی‌پرسیم «این چیست»؛ می‌پرسیم «پس چطور باهاش حرف بزنم که کمتر بلغزد، و چطور کار کنم که وقتی لغزید، متوجه بشوم». اینجا کتاب از توصیف فاصله می‌گیرد و وارد کار می‌شود.