DentAI – وقتی هوش مصنوعی تنها بهتر از پزشکِ مجهز به هوش مصنوعی عمل می‌کند

اگر به پزشک دسترسی به ChatGPT بدهیم، تشخیصش بهتر می‌شود؟ یک کارآزماییِ تصادفی‌شده که در JAMA Network Open منتشر شد، دقیقاً همین سوال را آزمایش کرد و جواب منفی بود. اما یافته‌ی غافلگیرکننده‌ی مطالعه جای دیگری بود: خودِ GPT-4 وقتی تنها و بدونِ دخالتِ پزشک روی همان کیس‌ها کار کرد، از هر دو گروهِ پزشک بهتر عمل کرد. یعنی اضافه شدنِ پزشک به مدل، نتیجه را پایین آورد.

این یافته برای دندانپزشکی هم اهمیتِ مستقیم دارد، چون همین ابزارها در حالِ ورود به کارِ روزمره‌ی ما هستند.

مطالعه چطور انجام شد

طرحِ کار ساده و تمیز بود. ۵۰ پزشک از سه دانشگاهِ معتبرِ آمریکا، از جمله Stanford، وارد مطالعه شدند و به‌صورتِ تصادفی به دو گروه تقسیم شدند. یک گروه به GPT-4 دسترسی داشت به‌علاوه‌ی منابعِ همیشگی مثلِ UpToDate و Google. گروهِ دیگر فقط منابعِ همیشگی را داشت و اجازه‌ی استفاده از هیچ مدلِ زبانی را نداشت.

هر پزشک یک ساعت فرصت داشت تا روی شش کیسِ تشخیصیِ پیچیده کار کند. کیس‌ها بر اساسِ بیمارانِ واقعی بودند و هیچ‌گاه جایی منتشر نشده بودند؛ بنابراین GPT-4 نمی‌توانست پاسخِ آن‌ها را از داده‌های آموزشی‌اش به خاطر داشته باشد.

نکته‌ی مهمِ دیگر اینکه فقط تشخیصِ نهایی نمره نداشت. کلِ فرایندِ استدلال ارزیابی می‌شد: تشخیص‌های افتراقی، شواهدِ موافق و مخالفِ هر کدام، و قدم‌های بعدی. تقریباً همان ساختاری که در Assessment and Plan یادداشتِ بالینی می‌نویسیم. نمره‌دهی هم blinded بود، یعنی نمره‌دهنده نمی‌دانست پاسخ متعلق به کدام گروه است، یا اصلاً متعلق به انسان است یا مدل. چون یک بازوی سوم هم وجود داشت: خودِ GPT-4 به‌تنهایی، با یک prompt که تیمِ پژوهش با دقت طراحی کرده بود.

نتایج

سه عددِ اصلیِ مطالعه:

• پزشک به‌علاوه‌ی GPT-4: حدودِ ۷۶ درصد
• پزشک با منابعِ معمول: حدودِ ۷۴ درصد
• GPT-4 تنها: حدودِ ۹۲ درصد

دسترسی به مدل عملاً هیچ کمکی نکرد. تفاوتِ دو درصدی بین دو گروهِ پزشک از نظرِ آماری معنادار نبود. اما مدلِ تنها ۱۶ درصد از پزشکان جلوتر بود و این تفاوت کاملاً معنادار بود.

الگو در همه‌ی زیرگروه‌ها یکسان بود؛ فرقی نمی‌کرد شرکت‌کننده پزشکِ باتجربه باشد یا رزیدنت، و تجربه‌ی قبلیِ کار با ChatGPT هم چیزی را عوض نکرد.

یک یافته‌ی فرعی هم قابلِ توجه بود: گروهِ GPT-4 حدودِ یک دقیقه در هر کیس سریع‌تر بود، و کسانی که قبلاً با ChatGPT کار کرده بودند بیش از دو دقیقه سریع‌تر. این تفاوت به معناداریِ آماری نرسید، اما جهتش امیدوارکننده است، چون در طبابت زمان همیشه کمیاب است.

چرا ترکیب انسان و هوش مصنوعی جواب نداد

این مهم‌ترین بخشِ ماجراست. مدل توانایی‌اش را ثابت کرد و ۹۲ درصد گرفت. پس چرا در دستِ پزشکان این توانایی گم شد؟

توضیحِ اصلیِ نویسندگان: نحوه‌ی استفاده. آن نمره‌ی ۹۲ درصدی حاصلِ یک prompt بود که متخصصان با دقت ساخته بودند. اما پزشکانِ مطالعه هیچ آموزشی در prompt engineering ندیده بودند و همان‌طوری با مدل کار کردند که اکثرِ کاربرانِ امروز کار می‌کنند. نتیجه این شد که قوی‌ترین ابزارِ تشخیصیِ در دسترس‌شان عملاً خنثی شد.

پس شکاف، شکافِ تواناییِ مدل نیست؛ شکافِ تعامل است. و راهِ حل هم از همین‌جا مشخص می‌شود: یا کلینیسین‌ها باید کار با این ابزارها را یاد بگیرند، یا سیستم‌ها باید prompt های بهینه را از قبل در خود داشته باشند تا کاربر مجبور نباشد متخصصِ prompting باشد.

اما یک هشدارِ مهم که خودِ نویسندگان صریحاً مطرح می‌کنند: این نتایج به این معنا نیست که مدل باید بدونِ نظارت تشخیص بدهد. کیس‌های این مطالعه خلاصه‌شده و تمیز بودند و همه‌ی اطلاعاتِ لازم از قبل استخراج شده بود. بالینِ واقعی چنین نیست. بیمارِ واقعی پر از noise و ابهام است و بیرون کشیدنِ اطلاعاتِ درست از دلِ آن، هنوز کارِ کلینیسین است.

پیام برای دندانپزشکی

مطالعه روی پزشکان انجام شده، اما ساختارِ مسئله دقیقاً در دندانپزشکی هم برقرار است: یک کلینیسین، یک کیسِ تشخیصی، و یک ابزارِ هوش مصنوعی در دسترس.

سه درس از دلِ یافته‌ها بیرون می‌آید:

۱. صرفِ دسترسی داشتن به هوش مصنوعی، تشخیص را بهتر نمی‌کند.
این دقیقاً همان چیزی است که آزمایش شد و جواب منفی بود.

۲. مهارتِ کار با این ابزارها یک مهارتِ بالینیِ جدید است.
نحوه‌ی پرسیدن و نحوه‌ی استفاده از خروجی، همان چیزی است که بین ۷۶ و ۹۲ درصد فاصله انداخت.

۳. عملکردِ بالای مدل در کیس‌های تمیز، به‌معنای آمادگی برای بالینِ واقعی نیست.
قضاوت در شرایطِ ابهام، همچنان قلمروِ کلینیسین است.

جمع‌بندی

این مطالعه نشان داد که در دسترس گذاشتنِ GPT-4 برای پزشکان، استدلالِ تشخیصیِ آن‌ها را بهتر نکرد، در حالی که همان مدل به‌تنهایی به‌طورِ معنادار از همه جلوتر بود.

پیامِ نهایی ساده است: آینده‌ی تشخیص، مسابقه بین انسان و هوش مصنوعی نیست. مسئله این است که یاد بگیریم این ترکیب را طوری بسازیم که از هر دو جزءِ خود قوی‌تر باشد، نه ضعیف‌تر. و فعلاً، بدونِ آموزش و بدونِ طراحیِ درست، هنوز به آن نقطه نرسیده‌ایم.