یک بررسی تازه نشان میدهد حتی در معتبرترین کنفرانسهای هوش مصنوعی هم ردپای «هالوسینیشن» مدلهای زبانی دیده میشود. استارتاپ GPTZero با اسکن همه ۴۸۴۱ مقاله پذیرفتهشده در کنفرانس NeurIPS سال گذشته در سندیگو، ۱۰۰ استناد جعلی را در ۵۱ مقاله شناسایی و به TechCrunch گزارش کرده است.
چه چیزی کشف شد و چرا مهم است؟
NeurIPS یکی از مهمترین رویدادهای علمی در حوزه یادگیری ماشین و هوش مصنوعی است و پذیرش مقاله در آن برای پژوهشگران یک امتیاز جدی محسوب میشود. طبق گزارش GPTZero، بخش کوچکی از استنادهای این مقالات ظاهراً توسط مدلهای زبانی بزرگ تولید شده و عملاً به مقالات یا منابعی اشاره میکنند که وجود خارجی ندارند یا نادرستاند.
از نظر آماری، این عدد در مقایسه با دهها هزار استناد واقعی «تقریباً صفر» توصیف شده و خود NeurIPS هم تأکید کرده که وجود چند استناد غلط لزوماً اعتبار نتایج علمی این مقالات را زیر سؤال نمیبرد. با این حال، کنفرانس در بیانیهای که قبلاً منتشر شده بود، روی «انتشار علمی سختگیرانه» و نقش داوران در شناسایی محتوای ساختگی تأکید کرده و این رخداد را زنگ هشداری درباره نحوه استفاده از LLMها در فرایند نگارش میداند.
استنادها در دنیای دانشگاهی نوعی واحد پول علمی هستند و تعداد ارجاعات میتواند بر مسیر شغلی پژوهشگران اثر بگذارد. وقتی هوش مصنوعی استنادهایی میسازد که وجود ندارند، ارزش این شاخص تضعیف میشود و اعتماد به سیستم داوری هم خدشهدار میگردد. GPTZero هدف این تحلیل را نشان دادن این دانسته که «موج ارسال مقالات» و استفاده گسترده از ابزارهای هوش مصنوعی، فشار زیادی به فرایند داوری وارد کرده و فضای مناسبی برای نفوذ «اسلاپ» یا محتوای کمکیفیت ایجاد کرده است.
پیامدها برای جامعه پژوهشی و کاربران عادی
این گزارش پرسش مهمی را پیش روی صنعت میگذارد: اگر پیشروترین پژوهشگران دنیا، آن هم در کنفرانسی در سطح NeurIPS، نتوانند دقت استفاده از مدلهای زبانی را در جزئیات سادهای مثل فهرست منابع تضمین کنند، کاربران عادی و سازمانها چطور میتوانند با خیال راحت به خروجی این ابزارها تکیه کنند؟ موضوعی که پیشتر هم در قالب «بحران داوری در کنفرانسهای هوش مصنوعی» در مقالات دانشگاهی مطرح شده بود، حالا با دادههای عملی پشتیبانی میشود.
برای پژوهشگران و توسعهدهندگان ایرانی هم این موضوع دو پیام دارد: اول، استفاده از هوش مصنوعی در نگارش و پژوهش باید همواره با راستیآزمایی انسانی همراه باشد؛ دوم، آشنایی عمیقتر با ابزارهای مختلف هوش مصنوعی میتواند به استفاده مسئولانهتر و آگاهانهتر منجر شود. در همین راستا، دسترسی به ابزارهای حرفهای مثل خرید اکانت های هوشمصنوعی میتواند به پژوهشگران کمک کند تا از مدلهای قدرتمند برای تحقیق بهره بگیرند، اما همزمان نسبت به خطاها و هالوسینیشنها نیز هوشیار بمانند.
در نهایت، این ماجرا یادآور این نکته است که حتی بهترین ابزارهای هوش مصنوعی هم بدون نظارت و مسئولیتپذیری انسانی میتوانند منجر به خطاهای جدی در تولید دانش شوند؛ خطاهایی که شاید در ظاهر کوچک به نظر برسند، اما اعتماد به اکوسیستم علمی و پژوهشی را تحت تأثیر قرار میدهند. منبع خبر: TechCrunch
