روشی که خودم استفاده میکنم
متنِ این قسمت
قسمتِ قبل با یک بنبست تمام شد. مدل را بستیم به منابعِ خودمان و دیدیم این کار جلوی جعل را میگیرد، ولی دو چیز را حل نمیکند: اینکه مدل همهی حرفِ آن منابع را دیده باشد، و اینکه آنچه دیده درست فهمیده باشد.
جوابِ بدیهی این است که خودتان بروید مقاله را از اول بخوانید و ببینید مدل درست گفته یا نه. ولی خوب که نگاه میکنید این اصلاً اصلاح کردن نیست، شما کار مدل را تصحیح نکردهاید، کل کار را از اول انجام دادهاید. و اگر قرار بود هر بار خودتان مقاله را کامل بخوانید، از همان اول چرا سراغِ مدل رفتید؟
پس اگر میخواهیم مدل واقعاً برایمان زمان بخرد و کارمان را راحت کند، راهِ بررسی باید از خودِ کار سبکتر باشد. وگرنه چیزی به دست نیاوردهایم.
آنچه در ادامه میگویم روشی است که خودم برای همین مشکل درست کردهام و مدتی است استفاده میکنم. نه استانداردِ جهانی است و نه ادعا میکنم بهترین راه است. راهی است که برای کارِ من جواب داده و منطقش قابلِ توضیح است، و همین را میخواهم برایتان باز کنم تا اگر پسندیدید برای خودتان تنظیمش کنید.
نقطهی شروع: دو سؤالِ متفاوت که همیشه قاطی میشوند
در فصل ۵ گفتیم شما نمیتوانید بسنجید که «این حرف درست است یا نه»، ولی خیلی راحت میتوانید بسنجید که «این جمله در آن مقاله هست یا نه». آنجا این را بهعنوان یک توصیهی کوتاه گفتیم. حالا میخواهم رویش بایستم، چون تمامِ این روش روی همین یک تفاوت بنا شده.
سؤالِ اول، یعنی «درست است یا نه»، سؤالی است باز و تخصصی. جوابش تجربه و قضاوتِ بالینی میخواهد، و اگر بلد بودید که اصلاً سراغِ مدل نمیرفتید.
سؤالِ دوم، یعنی «این ادعا در این متن هست یا نه»، سؤالی است بسته. جوابش را باید در خودِ متن نشان داد، و مهمتر از آن، کاری است که ماشین از پسش برمیآید. مقایسهی یک ادعا با یک متن کارِ خلاقانهای نیست؛ کارِ حوصلهبر و مکانیکی است، و دقیقاً از آن دسته کارهایی است که سپردنش به مدل عاقلانه است.
پس ایده این است: سؤالِ اول را که نمیشود سپرد، نگه میدارم برای خودم. ولی حجمش را با سؤالِ دوم کم میکنم. یعنی بهجای اینکه از مدل بپرسم این متن درست است یا نه، متنش را میگذارم روبهروی خودِ مقاله.
خودِ کار، مرحله به مرحله
فرض کنید مروری خواندهاید دربارهی پروفیلاکسیِ آنتیبیوتیک قبل از جراحیِ ایمپلنت و از مدل خواستهاید برایتان جمعبندیاش کند. متنی گرفتهاید که روان است، منظم است، و چند عدد و چند توصیهی مشخص دارد. حالا نمیدانید کدام تکهاش واقعاً از آن مقاله آمده و کدام تکهاش را مدل از جای دیگری آورده.
قدمِ اول: میروم سراغِ یک مدلِ دوم. ترجیحاً از شرکتِ دیگری، و ترجیحاً همان نوعِ منبعمحوری که در قسمتِ قبل گفتیم.
قدمِ دوم: دو چیز را با هم جلویش میگذارم. اول خودِ مقالهی اصلی، و دوم متنی که مدلِ اول نوشته بود. هر دو، نه فقط یکی.
قدمِ سوم: از او نمیپرسم این متن خوب است یا نه. میگویم این متن را جملهبهجمله در برابرِ آن مقاله بررسی کن، و برای هر ادعا مشخص کن که در مقاله هست، در مقاله نیست، یا هست ولی وفادارانه نقل نشده. و برای هر کدام که هست، بگو کجای مقاله.
و یک جملهی دیگر هم اضافه میکنم که بهنظرم مهمترین جملهی کلِ این روش است: فقط دنبالِ شباهتِ کلمات نگرد؛ مشخص کن که جمعیتِ بیماران، مداخله، پیامد، جهتِ اثر و عددها هم با مقاله میخوانند یا نه.
بدونِ این جمله، مدلِ دوم دنبالِ جملهی شبیه میگردد و پیدا هم میکند. مثالش را در بخشِ بعد میبینید.
تفاوتِ این با «این را چک کن» کمتر از چیزی است که بهنظر میرسد، ولی نتیجهاش خیلی فرق میکند. جلوتر میگویم چرا.
چه چیزی بیرون میآید
خروجی معمولاً سه دسته دارد.
دستهی اول، جملههایی که در مقاله هستند و سرِ جایشان نقل شدهاند. کارتان با اینها تمام است.
دستهی دوم، جملههایی که در مقاله نبودهاند و مدلِ اول از دانشِ عمومیاش اضافه کرده. اینها لزوماً غلط نیستند، ولی دیگر مستند به آن مقاله نیستند و شما باید بدانید کدامها هستند. اگر قرار است این متن جایی منتشر شود یا مبنای تصمیمی قرار بگیرد، این تفاوت اهمیت دارد.
دستهی سوم از هر دو خطرناکتر است و قابِ درستش این است: ادعا در مقاله هست، ولی وفادارانه منتقل نشده.
سادهترین حالتش این است که قید یا شرطش افتاده باشد. عدد درست است ولی معلوم نیست مالِ کدام زیرگروه بود. توصیه درست است ولی مقاله گفته بود در بیمارِ پرخطر، و در متنی که دستِ شماست این قید نیست.
حالتِ بدترش این است که خودِ ادعا عوض شده باشد بیآنکه کلمهها خیلی فرق کنند. فرض کنید در متنِ مدلِ اول نوشته شده «پروفیلاکسیِ آنتیبیوتیک شکستِ ایمپلنت را کم میکند»، در حالی که مقاله از کاهشِ عفونتِ بعد از جراحی حرف زده بود. پیامد عوض شده. اگر مدلِ دوم فقط دنبالِ جملهی شبیه بگردد، جملهای دربارهی آنتیبیوتیک و کاهش پیدا میکند و میگوید بله، در مقاله هست. برای همین بود که در قدمِ سوم صریح گفتم پیامد و جهتِ اثر را جدا تطبیق بدهد.
همین دستهی سوم است که با یک خواندنِ معمولی هیچوقت گیرتان نمیآید، چون متن غلط بهنظر نمیرسد. کاملاً درست بهنظر میرسد. فقط همان چیزی نیست که مقاله گفته بود.
این کار در واقع دارد چه میکند
حالا که دیدید خروجی چه شکلی است، یک نکتهی مهم را بگویم که بهراحتی از قلم میافتد.
وقتی من متنِ مدل را با آن مقاله مقایسه میکنم، مقاله را از قبل پذیرفتهام. یعنی پیش از این مرحله سنجیدهام که این مقاله ارزشِ استناد دارد یا نه. حالا آن مقاله برای من نقشِ مرجع را بازی میکند؛ چیزی که در دنیای فنی به آن سورس آو تروث (source of truth) میگویند، یعنی متنی که در این کارِ مشخص قرار است ملاک باشد.
معنیاش این است که وقتی مطمئن میشوم این ادعا واقعاً در مقاله آمده و شرط و شکلش هم همان است که مقاله گفته بود، دارم از اعتبارِ خودِ مقاله قرض میگیرم. اعتبار را نه من ساختهام و نه مدل؛ از قبل آنجا بوده و من فقط ادعا را به آن وصل کردهام.
و حالا روشن است چرا آن قیدِ دوم را اضافه کردم. دستهی سومی که همین بالا دیدید دقیقاً همان جایی است که این قرضگرفتن شکست میخورد: ادعا در مقاله هست، ولی چیزی که به دستِ شما رسیده همان ادعا نیست. لینک وصل است و اعتبار منتقل نشده.
چرا اسمش را الک گذاشتهام
چون کاری که میکند دقیقاً همین است: چیزی را که ادعای بیپشتوانه ندارد رد میکند و میگذارد برود، و دانههای درشتتر را روی خودش نگه میدارد تا شما نگاهشان کنید.
با یک متنِ دوصفحهای وارد میشوید که هر جملهاش ممکن است مشکل داشته باشد، و معمولاً با چند موردِ مشخص بیرون میآیید که ارزشِ بررسیِ دستی دارند. کارِ قضاوت هنوز مالِ شماست و کسی از دوشتان برنداشته. فقط بهجای اینکه روی کلِ متن پخش شود، جمع شده روی چند نقطهی مشخص.
و یک چیز را همینجا روشن کنم که اسم گمراهتان نکند: الک متن را تمیز نمیکند. آنچه از الک رد شد لزوماً درست نیست؛ فقط ادعایی است که در منبع پشتوانه دارد. درستبودنِ خودِ آن منبع بحثِ دیگری است که پایینتر میگویم.
این تمامِ ادعای این روش است و عمداً کوچک نگهش میدارم. اگر جایی خواندید که با دو مدل میشود به جوابِ مطمئن رسید، آن ادعا از جنسِ همان ضمانتهای خیالی است که فصلِ بعد دربارهشان حرف میزنیم.
چرا اصلاً کار میکند
سؤالِ منصفانهای است. اگر مدلِ دوم هم به همان اندازه نمیفهمد، چطور قرار است خطای مدلِ اول را بگیرد؟
دو دلیل دارد.
اول اینکه کاری که به مدلِ دوم سپردهایم از جنسِ دیگری است. نوشتنِ جمعبندی کارِ بازی است؛ مدل باید خودش تصمیم بگیرد چه بیاورد و چه نیاورد، و هر جا چیزی کم داشت با محتملترین گزینه پرش کند. ولی تطبیقِ یک ادعای مشخص با یک متنِ مشخص کارِ بستهای است. جای کمتری برای انحراف دارد، چون باید یک جای مشخص از متن را نشان بدهد.
دوم، و بهنظرِ من مهمتر: مدلِ دوم در آن گفتوگوی اول حضور نداشته و بنابراین حدسها و مسیرِ استدلالیِ مدلِ اول را با خودش حمل نمیکند. این دقیقاً همان چیزی است که در فصل ۵ دربارهی خودمان گفتیم: وقتی یک مسیر را رفتهاید، برگشتن و دیدنِ ایرادِ همان مسیر سخت است. برای مدل هم همینطور است، منتها راهِ حلش برای ما سادهتر است. یکی دیگر را صدا میزنیم.
و به همین دلیل بود که در قسمت ۱ گفتم دو مدلِ رایگان از دو شرکتِ متفاوت به کارتان بیشتر میآید تا یک اشتراکِ گران. اینجا آن حرف نقد میشود.
کجاها شکست میخورد
سه جا. و هر سه را باید بدانید، وگرنه این روش خودش تبدیل میشود به همان چیزی که از آن فرار میکردیم.
اول، مدلِ دوم هم ممکن است چیزی را ندیده باشد. او هم از همان مکانیزمِ بازیابیِ قسمتِ قبل استفاده میکند. ممکن است تکهای را که باید با ادعا مقایسه میکرد اصلاً پیدا نکند و بگوید «در مقاله نیست»، در حالی که هست. پس «نیست»ی که میگوید حکم نیست، علامتِ سؤال است. جای اینکه ادعا را دور بیندازید، خودتان بروید همان یک مورد را در مقاله ببینید.
دوم، مدلها تمایل به تأیید دارند. اگر بپرسید «این متن درست است؟» احتمالِ اینکه بگوید بله زیاد است. برای همین سؤال باید بسته و بیطرف باشد. تفاوتِ «این را بررسی کن» با «برای هر ادعا بگو در کدام بخشِ مقاله آمده» همین است: دومی جای تعارف ندارد. باید یک جای مشخص را نشان بدهد یا اعتراف کند که پیدا نکرده.
سوم، و مهمتر از هر دو: این روش فقط وفاداری به منبع را میسنجد، نه درستیِ خودِ منبع را. اگر آن مقاله ضعیف باشد، الک با کمالِ آرامش یک متنِ ضعیفِ کاملاً مستند تحویلتان میدهد. برای همین بود که در قسمتِ قبل از سنجشِ اعتبارِ مقاله حرف زدم. آن کار قبل از این میآید، نه بعد از آن.
یک نکتهی چهارم هم هست که در متونِ تخصصی زیاد بهش اشاره میشود و ارزش دانستن دارد: وقتی دو مدل با هم موافقاند، این موافقت لزوماً بهمعنای تأیید نیست. اگر هر دو شبیهِ هم آموزش دیده باشند، ممکن است هر دو یک اشتباه را با هم بکنند. توافقشان آنوقت خطای مشترک است، نه شاهدِ مستقل. این هم دلیلِ دیگری است که چرا مدلِ دوم را از شرکتِ دیگری برمیدارم.
نسبتش با چیزی که در فصل ۴ گفتیم
در فصل ۴ حرکتی داشتیم که در آن به مدل میگفتید فعلاً فقط بررسی کن و گزارش بده و هنوز پیشنهادی نده؛ بعد خودتان گزارش را میخواندید؛ و بعد میگفتید حالا بر اساسِ همین گزارش پیشنهاد بده.
آن یکی کنترلِ کیفیتِ دستی بود درونِ یک گفتوگو، و بازرسش خودتان بودید. این یکی راستیآزمایی بینِ دو مدل است در برابرِ یک منبعِ بیرونی، و چیزی را میگیرد که ممکن است از چشمِ هر دویتان افتاده باشد.
رقیبِ هم نیستند و من هر دو را استفاده میکنم.
و بعد
تا اینجای فصل حرف از این بود که با چه چیزی کار کنید و چطور جلوی خطا را بگیرید. یعنی هنوز داریم از کارِ انجامشده محافظت میکنیم.
قسمتِ بعد یک قدم میرود عقبتر، به قبل از شروع. چون بخشِ بزرگی از خروجیهای بدی که آدم میگیرد اصلاً از خطای مدل نمیآید. از این میآید که خودش هم دقیقاً نمیدانست چه میخواهد، و مدل با اولین حدسش شروع کرد به ساختن.