محقق بودن یک سفر هیجان انگیز است، اما بدون چالش نیست. یکی از مشکلاتی که در این حرفه با آن روبرو هستیم، خستگی داور است: مسئولیت نوشتن نکات و نقدهای داوری همتا برای همکارانمان. اما، اشتباه نکنید، داوری همتا فرآیندی ضروری است که کیفیت و یکپارچگی تحقیقات علمی را تضمین می کند. با این حال، گاهی اوقات می تواند مانند یک وزن اضافی بر روی شانه های ما احساس شود.
این را تصور کنید: شما ساعت های بی شماری را صرف انجام آزمایشات، تجزیه و تحلیل داده‌ها و نوشتن مقاله خود کرده‌اید. و سپس، شما درخواستی برای داوری کار شخص دیگری دریافت می کنید و در مورد رد درخواست احساس گناه می کنید، زیرا ممکن است روی شغل شما به عنوان یک دانشمند تأثیر منفی بگذارد. آیا مدل‌های زبان بزرگ (LLM) مانند ChatGPT می‌توانند داوری مقالات دیگران را برای شما آسان‌تر کنند؟ و اگر بله، آیا باید از آنها استفاده کنید؟ بیایید نگاهی به نماهای مختلف پیرامون استفاده از ChatGPT یا هر LLM دیگری به عنوان ابزار داوری همتا بیندازیم.
بررسی تجربی داوری همتا تولید شده توسط هوش مصنوعی
در سال 2021، Checco و همکاران یک ابزار هوش مصنوعی برای بررسی تجربی اینکه آیا هوش مصنوعی می‌تواند به عنوان جایگزینی برای داور انسانی در طول فرآیند ارزیابی نسخه‌های دست‌نویس یک مجله عمل کند، توسعه داد. سیستمی که آنها توسعه دادند اغلب نتایجی مشابه نتایجی را ارائه می‌کرد که از داوران همتای انسانی دریافت می‌کردند، اما شایان ذکر است که آنها بر آنچه که «مجموعه‌ای نسبتاً سطحی از ویژگی‌ها» می‌گفتند، مانند خوانایی و قالب تمرکز کردند. آنها همچنین پتانسیلی برای سوگیری پیدا کردند، زیرا LLM ها و سایر ابزارهای یادگیری ماشین با داده‌های قبلی آموزش می بینند، که ممکن است دارای سوگیری های ذاتی باشند، و بنابراین احتمالاً این سوگیری ها را در خروجی های خود نیز منعکس می کنند.
توصیه های پس از راه اندازی GPT3
پس از اینکه GPT3 (که معمولاً فقط ChatGPT نامیده می شود) دنیای آکادمیک را در اواخر سال 2022 تحت تأثیر قرار داد، حسینی و هورباخ (2023) نگاهی دقیق به نحوه استفاده از LLM در فرآیند انتشار انداختند. آنچه آنها کشف کردند بسیار جالب است. از یک طرف، LLM ها می توانند ابزارهای مفیدی برای جمع بندی نظرات داوران همتا و ایجاد پیش نویس تصمیم گیری اولیه باشند. اما نکته اینجاست این ابزارها همچنین می توانند مشکلات موجود در سیستم داوری همتا را بدتر کنند.
به نظر می رسد که کلاهبرداران ممکن است از LLM ها برای تولید نظرات جعلی معتبرتر استفاده کنند. نکته دیگری که قابل ذکر است این است که LLM ها هنوز در مراحل اولیه توسعه هستند. در حال حاضر، به نظر می رسد آنها برای تقویت پیش نویس اول یک داوری مناسب هستند. بر اساس یافته‌های خود، محققان به شدت به ویراستاران مجلات و داوران همتا توصیه می‌کنند که در مورد اینکه آیا و چگونه از LLM در تصمیم‌گیری‌های مربوط به نسخه‌های خطی استفاده کرده‌اند یا خیر، آگاه باشند.
معایب LLM در داوری همتا
Donker در The Lancet Infectious Diseases تجربه دست اول خود را از استفاده از LLM برای ایجاد یک داوری همتا به اشتراک گذاشت. و حدس بزنید چه چیزی بود؟ نتایج آن چیزی که او انتظار داشت، نبود. به نظر می‌رسید که گزارش داوری همتای ایجاد‌شده توسط هوش مصنوعی نظرات زیادی داشت که واقعی به نظر می‌رسیدند، اما در اینجا پیچیدگی هایی وجود دارد – آنها هیچ ارتباطی با نسخه خطی واقعی در حال بررسی نداشتند. نه تنها این، بلکه LLM حتی پیش رفت و تعداد زیادی ارجاعات جعلی برای استناد ایجاد کرد.
این بررسی در ظاهر حرفه‌ای و متعادل به نظر می رسید، اما فاقد هرگونه محتوای انتقادی خاص مرتبط با نسخه خطی یا مطالعه‌ای بود که توضیح داد. خطر واقعی در اینجا این است که شخصی که نسخه خطی را به طور کامل نخوانده است ممکن است آن را با گزارش بررسی معتبر اشتباه بگیرد. و بدتر از آن، این نظرات نامربوط حتی می تواند به عنوان دلیلی برای رد مقاله در نظر گرفته‌شود! تجربه او باعث شد به شدت توصیه کند که از LLM برای داوری همتا استفاده نکنید.
آیا باید از یک LLM در حین بررسی یک مقاله استفاده کنید؟
از بحث بالا می توانید ببینید که استفاده از شکل فعلی LLM به عنوان جایگزینی برای انسان در داوری همتا ایده خوبی نیست. اگر هنوز وسوسه می‌شوید که در زمان و تلاش خود صرفه‌جویی کنید،در اینجا مجموعه‌ای از اقداماتی که باید برای جلوگیری از بروز مشکلات وجود دارد.
1- تأیید کنید که مجله به شما اجازه می‌دهند از LLM به عنوان داور همتا استفاده کنید. ناشران مانند Emerald استفاده از ابزارهای هوش مصنوعی را به عنوان جایگزینی برای داوری همتا تایید نمی‌کنند. روسای برنامه کنفرانس ICCV 2023 به صراحت استفاده از LLMها را در هر بخشی از فرآیند داوری همتا غیراخلاقی می‌دانند. هر داور برای ICCV 2023 باید تأیید کند که نظرات آنها عقیده واقعی آنها را منعکس می‌کند و هیچ بخشی از گزارش آنها توسط هوش مصنوعی ایجاد نشده‌است.
2- اگر ژورنال شما تأیید کرد که استفاده از LLM برایشان مهم نیست،ابتدا باید یک گزارش داوری همتا تهیه کنید که 100٪ کار خودتان است. نسخه‌خطی را بخوانید،نظرات خود را در مورد نقاط قوت و ضعف آن شکل دهید و در مورد تازگی و اهمیت آن قضاوت کنید.
3- پس از اتمام پیش‌نویس فوق،بررسی کنید که یک LLM چه خروجی می‌تواند به عنوان داوری همتا ارائه دهد. از این مورد به عنوان یک جفت چشم دوم برای شناسایی مسائلی که ممکن است نادیده گرفته باشید استفاده کنید. با این حال،شما باید توصیه‌های LLM را بر اساس دانش خود در زمینه و روند علمی تأیید کنید.
4- در صورت لزوم، از یک LLM برای خلاصه‌کردن گزارش داوری همتا خود استفاده کنید. اگر با لحن نظرات خود مشکل دارید،یا اگر از مهارت‌های نوشتاری انگلیسی خود اطمینان ندارید، LLM می‌تواند مفید باشد. اما باز هم خروجی نهایی را با دقت بخوانید و مطمئن شوید که منظور شما به طور کامل و دقیق منتقل شده است.
5- به طور کامل برای مجله ذکر کنید که آیا از LLM استفاده کرده‌اید و اگر پاسخ مثبت است چگونه؟ این مرحله برای حفظ شفافیت و حفظ یکپارچگی فرآیند داوری همتا کلیدی است. شما باید تأیید کنید که همه نظرات در گزارش داوری همتا واقعاً متعلق به شما هستند و مسئولیت آنها را بر عهده می‌گیرید.
نتیجه
به عنوان یک محقق پرمشغله، LLM ها مانند یک میانبر برای تبدیل‌شدن به یک داور همکار فوق کارآمد و سازنده هستند! اما قبل از اینکه بیش از حد فریفته شوید، باید مراقب باشید. می دانید، ما هنوز در مراحل اولیه توسعه LLM هستیم. نگرانی‌های اخلاقی و اهمیت قضاوت انسانی در اینجا مطرح می‌شود، و LLMS – همانطور که در حال حاضر هستند – به نظر نمی‌رسد قادر به تکرار یک داور همتای انسانی باشد. اما بخش هیجان انگیز اینجاست . تصور کنید LLM های جدیدتر و پیچیده‌تر وارد بازار شوند. این LLMهای جدیدتر می‌توانند مانند دستیاران قابل اعتمادی باشند که به داوران همتا چشمان بیشتری می‌دهند تا چیزهایی را که ممکن است از دست بدهند، ببینند، اما همچنان به آنها اجازه می‌دهند از تخصص و مهارت‌های انسانی خود استفاده کنند. حالا این چیزی است که ارزشمند است!
