آندریا والونه، پژوهشگر ارشد ایمنی در اوپناِیآی که روی نحوه رفتار مدلهای زبانی در مواجهه با کاربران آسیبپذیر کار میکرد، این شرکت را ترک کرده و به تیم همترازسازی (alignment) در استارتاپ آنتروپیک پیوسته است.
جابهجایی یک چهره کلیدی در پژوهش ایمنی هوش مصنوعی
به گزارش ورج، والونه در اوپناِیآی هدایت پژوهشهایی را بر عهده داشت که روی این پرسش متمرکز بود: مدلهای هوش مصنوعی وقتی با نشانههای وابستگی احساسی شدید یا آغاز مشکلات سلامت روان در مکالمه روبهرو میشوند، باید چگونه پاسخ دهند. او طی حدود سه سال فعالیت خود، تیم «سیاست مدل» را در اوپناِیآی شکل داد و روی نحوه استقرار GPT-4، برخی مدلهای استدلالی و همچنین نسخههای بعدی مانند GPT-5 و فرآیندهای آموزشی مبتنی بر قوانین پاداش برای بهبود ایمنی کار کرد.
والونه اکنون به تیم همترازسازی آنتروپیک پیوسته است؛ تیمی که مأموریت دارد بزرگترین ریسکهای مدلهای زبانی این شرکت و راهکارهای کاهش آنها را شناسایی کند. او در پستی در لینکدین نوشته است که قصد دارد پژوهش خود را در آنتروپیک ادامه دهد و روی همترازسازی و تنظیم دقیق مدلها برای شکلدهی به رفتار سیستم چتبات این شرکت در موقعیتهای جدید تمرکز کند.
در سال گذشته، نحوه واکنش چتباتهای هوش مصنوعی به کاربران دارای مشکلات سلامت روان به یک موضوع بحثبرانگیز تبدیل شده است. در برخی پروندهها، کاربرانی که مدت طولانی با چتباتها صحبت کردهاند، دچار تشدید بحرانهای شخصی شدهاند و حتی گزارشهایی از خودکشی یا خشونت پس از چنین مکالماتی مطرح شده است. همین موارد باعث شده فشارهای حقوقی، از جمله شکایتهای خانوادهها و جلسات استماع در مجلس سنای آمریکا، بر شرکتهای سازنده مدلهای بزرگ زبانی افزایش یابد و نقش پژوهشگران ایمنی بیش از پیش پررنگ شود.
برای کاربران و فعالان حوزه فناوری در ایران، این جابهجایی نشان میدهد که رقابت میان شرکتهای پیشرو هوش مصنوعی فقط بر سر توان پردازش و سرعت نوآوری نیست، بلکه بر سر جذب متخصصان ایمنی و تنظیم رفتار مدلها نیز جریان دارد. این روند میتواند مستقیماً بر کیفیت و ایمنی ابزارهایی که ایرانیها روزانه استفاده میکنند، از جمله سرویسهای مبتنی بر چتبات و ترجمه، اثر بگذارد. در همین فضا، دسترسی قانونی و پایدار به ابزارهای روز، مانند خرید اکانت های هوشمصنوعی، برای کسبوکارها و توسعهدهندگان ایرانی اهمیت بیشتری پیدا کرده است.
منبع خبر: The Verge
