وقتی متن از مطبِ شما بیرون میرود، مسؤولش کیست؟
متنِ این قسمت
این آخرین قسمتِ کتاب است. قسمتِ قبل دربارهی چیزهایی بود که به مدل میدهید. حالا میرویم سراغِ جهتِ برگشت: متنی که از مدل میگیرید و از مطبِ شما بیرون میرود. وقتی آن متن به دستِ بیمار میرسد، مسؤولیتش با کیست؟
برگهای که اسم شما را دارد
بعد از جراحی و کشیدن دندان، برگهی توصیههای بعد از عمل را به بیمار میدهید. متنِ برگه را هفتهی پیش از مدل گرفتهاید. مرتب است، خوشخوان است، و روی سربرگِ مطب پرینت شده. یکی از جملههایش این است: «از همان روزِ اول دهانتان را چند بار با آبنمک خوب بشویید.» بیمار هم همین کار را میکند و سه روز بعد با دردِ شدید و درای ساکت (dry socket) برمیگردد.
شما خودتان خوب میدانید که شستوشوی شدید در بیستوچهار ساعتِ اول لخته را از جا درمیآورد. اگر آن جمله را با دقت خوانده بودید، همانجا تأمل میکردید. ولی متن روان بود، بقیهاش هم درست بود، و آن یک جمله از بیرون هیچ فرقی با جملههای درست نداشت. این همان چیزی است که در فصل ۲ گفتیم: روانی و درستی هر دو از یک فرایند میآیند، پس از روی خودِ متن نمیشود از هم جداشان کرد.
بیمار نمیداند این متن را یک مدل نوشته است، و اگر هم بداند برایش فرقی نمیکند. برگه را شما به دستش دادهاید، با اسمِ شما رویش. شرکتِ سازندهی مدل هم در این ماجرا طرفِ حساب نیست. همهی این سرویسها در شرایطِ استفادهشان صریح نوشتهاند که خروجی ممکن است غلط باشد و سنجیدنش کارِ کاربر است.
همان کاری که با لابراتوار میکنید
این وضعیت برای ما تازه نیست. ما هر روز کاری را تحویل میگیریم که خودمان نساختهایم. لابراتوار روکش را میسازد، ولی قبل از سمان کردن، مارجین و کانتکت و اکلوژن را شما چک میکنید. اگر روکشی با مارجینِ باز سمان شود، هیچکس این توضیح را نمیپذیرد که لابراتوار اینطور ساخته بود. لابراتوار ساخته، ولی شما پذیرفتهاید، و مسؤولیت همانجا که پذیرفتید منتقل شده است.
خروجیِ مدل هم همین حکم را دارد، با یک تفاوت که کار را سختتر میکند. مارجینِ باز را سوند و رادیوگرافی نشانتان میدهد، ولی جملهی غلط در یک متنِ روان هیچ علامتی نمیدهد و فقط وقتی پیدا میشود که کسی موضوع را بداند و متن را با دقت بخواند. پس آن مرحلهی امتحانِ قبل از سمان کردن اینجا هم هست و حذف نمیشود، فقط ابزارش فرق دارد. ابزارش دانشِ خودِ شماست.
چرا گاهی خیال میکنید این کنترل قبلاً انجام شده است
مدل چند رفتار دارد که در آدمها نشانهی همین کنترل است. وقتی این رفتارها را میبینید، ناخودآگاه از دقتِ خودتان کم میکنید.
رایجترینشان عددِ اطمینان است. مینویسید «فقط اگر بالای ۸۰ درصد مطمئنی جواب بده» و مدل آخرِ جوابش مینویسد «اطمینان: ۹۰ درصد». پشتِ این عدد هیچ اندازهگیریای نیست. مدل این عدد را با همان روشی نوشته که بقیهی جملهها را نوشته است: در چنین بافتی، بعد از چنین جوابی، چنین عددی محتمل بود. اگر همان سؤال را در یک گفتوگوی تازه بپرسید، ممکن است عددِ دیگری بگیرید، بدونِ اینکه چیزی در دانشِ مدل عوض شده باشد. بدیِ ماجرا فقط بیفایدهبودنِ این عدد نیست. این عدد درست همان جایی که باید مشکوک باشید خیالتان را راحت میکند.
خطا در عدد است، نه در احتیاط. نسخهی سالمِ همین خواسته را در فصل ۶ دیدید: «اگر اطلاعاتِ لازم را نداری حدس نزن، از من بپرس.» این جمله از مدل یک رفتار میخواهد، نه اندازهگیریِ حالِ درونیاش.
اینجا ممکن است این سؤال پیش بیاید که پس چرا در بعضی جاها عدد گرفتن از یک سیستم کارِ درستی است. تفاوتش در این است که آن عددها به چیزی بیرون از مدل وصلاند.
یک نمونهاش وقتی است که ملاکها را خودتان تعیین میکنید. فرض کنید برای سنجیدن کیفیت مقاله، فهرستی از شرطها بنویسید، مثلاً اینکه مطالعه گروهِ کنترل داشته باشد، تعدادِ نمونهاش از حدی کمتر نباشد و مدتِ پیگیریاش مشخص باشد، و بعد از مدل بخواهید یک مقاله را در برابرِ همین فهرست بررسی کند و برای هر بند بگوید هست یا نیست و نمره بدهد. عددی که آخرش درمیآید حاصلِ جمعِ نمره ی همان بندهاست و خودتان میتوانید بند به بند نگاه کنید و ببینید از کجا آمده. اینجا مدل دربارهی مقاله قضاوت میکند، نه دربارهی خودش.
عین همین کار را دنتکست انجام داد و پرامپتی نوشتیم که مقالات را بند به بند بررسی میکند، شواهد را میسنجد و طبق الگو امتیاز میدهد، اسمش DentCast Evidence Score هست.
دقت کنید اینجا مدل خودش را نمیسنجد، مقاله را طبق معیار قضاوت میکند.
نمونهی دیگر درصدِ اطمینانی است که نرمافزارهای تشخیصیِ رادیوگرافی کنارِ هر یافته میدهند. آن عدد از آزمودنِ سیستم روی هزاران تصویرِ برچسبخورده به دست آمده و سازنده باید بتواند نشان بدهد چطور حساب شده است. ولی «۹۰ درصد مطمئنم»ِ یک مدلِ زبانی به هیچ چیزی وصل نیست.
سه رفتارِ دیگر را در فصل ۶ بهتفصیل دیدید و اینجا فقط نتیجهشان را میگویم. ایجنتی که جلوی چشمتان خطای خودش را پیدا و اصلاح میکند، فقط چیزی را میآزماید که اجرا میشود، و جملهای که دربارهی دوز یا مراقبتِ بعد از عمل نوشته اصلاً از چنین آزمونی رد نمیشود. دو مدلی که یک جواب میدهند بخشِ بزرگی از دادهی آموزششان مشترک است، پس توافقشان نشان میدهد آن حرف رایج است، نه اینکه درست است. و مدلی که قبل از شروعِ کار سؤالهای دقیق میپرسد، متن را مربوطتر میکند، نه درستتر.
در هر چهار مورد، آن کاری که انگار انجام شده در واقع انجام نشده است. متن همانقدر کنترلنشده مانده که بدونِ این رفتارها میماند.
انجمنِ دندانپزشکیِ آمریکا در این باره چه گفته است؟
انجمنِ دندانپزشکیِ آمریکا (ADA) سندی دارد به نامِ ADA SCDI White Paper No. 1106 که در سالِ ۲۰۲۲ منتشر شده و موضوعش کاربردهای هوشِ مصنوعی در دندانپزشکی است. بخشی از این سند مستقیماً دربارهی مسؤولیت است.
موضعش روشن است. هوشِ مصنوعی در درمان فقط مکملِ کارِ کلینیسین است و مسؤولیتِ تشخیص، پیشگیری و درمان با دندانپزشک میماند. برای توضیحش مثالِ خودروی خودران را میآورد: تا وقتی راننده مسؤولِ رانندگیِ ایمن است، باید بیدار بماند و دستش روی فرمان باشد، هر قدر هم که سیستم خوب کار کند. بعد هم صریح هشدار میدهد که تا وقتی تشخیص و طرحِ درمان به عهدهی کلینیسین است، باید مراقبِ اتکای بیشازحد به این سیستمها بود.
یک نکته را هم باید اضافه کنم، که اتفاقاً این استدلال را قویتر میکند. این سند قبل از آمدنِ چتجیپیتی نوشته شده و موضوعش مدلِ زبانی نیست، بلکه نرمافزارهای تشخیصیِ رادیوگرافی است، همان دستهی اولی که در ابتدای کتاب از آن حرف زدیم. آن نرمافزارها برای یک کارِ مشخص ساخته شدهاند، روی دادهی برچسبخورده اعتبارسنجی شدهاند و از نهادِ ناظر مجوز گرفتهاند. با همهی اینها، ADA باز هم مسؤولیت را از دوشِ دندانپزشک برنمیدارد. حالا مدلِ زبانیِ عمومی هیچکدام از این سه را ندارد. برای دندانپزشکی ساخته نشده، برای هیچ کاربردِ کلینیکی اعتبارسنجی نشده و هیچ نهادی تأییدش نکرده است. وقتی مسؤولیت دربارهی آن ابزارِ اعتبارسنجیشده جابهجا نمیشود، دربارهی این یکی بهطریقِ اولی جابهجا نمیشود.
مسؤولیت در عمل یعنی چه؟
گفتنِ «مسؤولیت با شماست» آسان است و بهتنهایی چیزی را عوض نمیکند. چیزی که عوض میکند سه عادتِ مشخص است.
اول اینکه هر متنی را که قرار است به بیمار برسد کامل بخوانید، همانطور که نوشتهی یک دستیارِ تازهکار را میخوانید. منظورم مرورِ سریع برای اینکه ببینید خوب از آب درآمده یا نه نیست. منظورم خواندنِ جملهبهجمله است با این سؤال که اگر بیمار دقیقاً همین کاری را بکند که اینجا نوشته، چه اتفاقی میافتد. این متنها معمولاً کوتاهاند و این کار چند دقیقه بیشتر وقت نمیگیرد.
دوم اینکه برای هر توصیهی کلینیکیِ داخلِ متن باید بتوانید بگویید از کجا آمده، بدونِ اینکه اسمی از مدل ببرید. اگر همکارتان بپرسد چرا یک هفته دهانشویه نوشتهاید، جوابتان باید این باشد که پروتکلِ خودم این است، یا فلان منبع این را میگوید. اگر تنها جوابی که دارید این است که مدل اینطور نوشته بود، آن جمله هنوز مالِ شما نشده و نباید با اسمِ شما بیرون برود. این همان قیدی است که در فصل ۱ گفتیم: مدل فقط در محدودهای که خودتان واردید ابزار است.
سوم اینکه متنی را که یک بار کنترل کردهاید نگه دارید و دفعهی بعد از همان استفاده کنید، بهجای اینکه هر بار متنِ تازهای از مدل بگیرید. برگهی بعد از عملی که خواندهاید و اصلاحش کردهاید، دیگر برگهی خودتان است. متنی که مدل فردا برای همان موضوع مینویسد متنِ دیگری است، با خطاهای احتمالیِ دیگر، و کنترلی که دیروز کردهاید شاملش نمیشود.
برای محتوای علمی که منتشر میکنید، روشِ کار را در فصل ۶ گفتم و تکرارش نمیکنم. فقط یک چیز به آن اضافه میشود. اسمِ شما زیرِ آن متن یعنی شما گفتهاید این حرف درست است، و خواننده به اعتبارِ شما اعتماد میکند، نه به اعتبارِ مدل.
آخرِ کتاب
از اول یک اصل را گفتم که قرار بود در تمامِ کتاب ثابت بماند: مدل همراهِ فکر است، نه جایگزینِ قضاوت؛ و هر ادعای قابلِ راستیآزمایی، از عدد و دوز تا منبع، تا وقتی تأیید نشده ممکن است جعلی باشد. بقیهی فصلها هر کدام یک وجهِ همین اصل بودند. اینکه مدل چرا مطمئن حرف میزند وقتی نمیداند. اینکه چطور با آن حرف بزنید تا جوابِ بهدردبخور بگیرید. اینکه کجای کارِ کلینیکی جایش هست و کجا نیست. اینکه چطور با آن محتوایی بسازید که بشود پایش ایستاد. و در این فصل، اینکه چه چیزی را نباید به آن بدهید و مسؤولِ آنچه از آن میگیرید کیست.
اسمِ مدلها، امکاناتشان و قیمتِ اشتراکشان تا چند ماهِ دیگر عوض میشود و بخشی از مثالهای این کتاب کهنه خواهد شد. چیزی که عوض نمیشود جای خودِ شما در این رابطه است. این ابزار میتواند سریعتر از شما بنویسد، بیشتر از شما بخواند و مرتبتر از شما خلاصه کند. کاری که نمیتواند بکند این است که بیمار را معاینه کند، نتیجهی درمان را ببیند و جوابگویش باشد. این سه تا کارِ دندانپزشک است و هر سه با شما میماند.