اوپنایآی اعلام کرده است که مرورگرهای مجهز به هوش مصنوعی، از جمله مرورگر ChatGPT Atlas این شرکت، احتمالاً همیشه تا حدی در برابر حملات «پرامپت اینجکشن» یا تزریق دستور آسیبپذیر خواهند بود و این موضوع را یک چالش بلندمدت در امنیت هوش مصنوعی توصیف کرده است.
حملات پرامپت اینجکشن و نگرانیهای جدید امنیتی
پرامپت اینجکشن نوعی حمله است که در آن مهاجم دستورهای مخفی یا فریبنده را درون محتوایی مثل صفحات وب یا ایمیلها قرار میدهد تا عامل هوش مصنوعی به جای پیروی از دستور کاربر، از آن فرمانهای مخرب تبعیت کند. اوپنایآی در یک پست وبلاگی توضیح داده که این خطر شبیه کلاهبرداریها و مهندسی اجتماعی روی وب است و «احتمالاً هرگز به طور کامل حل نمیشود»؛ بهویژه وقتی حالتهای عاملمحور (agent mode) با دسترسی گسترده به اطلاعات حساس فعال باشند.
پس از عرضه مرورگر Atlas در پاییز، پژوهشگران امنیتی خیلی زود دموهایی منتشر کردند که نشان میداد با چند خط متن در اسنادی مثل Google Docs میتوان رفتار مرورگر را تغییر داد. همزمان برخی دیگر از بازیگران صنعت و نهادهای دولتی، از جمله مرکز ملی امنیت سایبری بریتانیا، هشدار دادهاند که حملات پرامپت اینجکشن به برنامههای هوش مصنوعی مولد ممکن است «هرگز کاملاً قابل مهار نباشند» و باید بیشتر بر کاهش ریسک و پیامدها تمرکز کرد تا حذف کامل تهدید.
راهبرد اوپنایآی: مهاجم خودکار مبتنی بر LLM
اوپنایآی برای مقابله با این چالش، رویکردی مبتنی بر تست مداوم و واکنش سریع در پیش گرفته است. این شرکت یک «حملهکننده خودکار» ساخته که خود بر پایه یک مدل زبانی بزرگ (LLM) است و با روشهای یادگیری تقویتی آموزش دیده تا نقش هکر را بازی کند و سناریوهای مختلف تزریق دستور را روی عاملهای هوش مصنوعی آزمایش کند. این بات میتواند در محیط شبیهسازیشده بارها حمله را اجرا، نتیجه را تحلیل و حمله را بهصورت تکراری بهبود دهد؛ قابلیتی که به دلیل دسترسی به منطق داخلی سیستم، برای مهاجمان واقعی در دنیای بیرون در دسترس نیست.
به گفته اوپنایآی، این روش توانسته عاملها را به انجام زنجیرهای از کارهای پیچیده و چندمرحلهای سوق دهد و در عین حال، الگوهای حمله جدیدی را کشف کند که نه در تستهای انسانی داخلی و نه در گزارشهای بیرونی دیده نشده بود. در یک نمونه نمایشی، ایمیل حاوی دستور مخفی باعث میشد عامل بهجای ساختن یک پاسخ خودکار، پیام استعفا ارسال کند؛ اما پس از بهروزرسانیهای امنیتی، حالت عامل Atlas توانسته چنین تلاشهایی را شناسایی و به کاربر هشدار دهد.
توصیهها و پیامدها برای کاربران و صنعت
کارشناسان امنیتی میگویند مرورگرهای عاملمحور در نقطه حساسی قرار گرفتهاند؛ زیرا ترکیبی از خودمختاری متوسط و دسترسی بسیار بالا به دادههایی مانند ایمیل و اطلاعات پرداخت دارند. اوپنایآی برای کاهش ریسک، توصیه میکند دسترسیهای ورود به حسابها تا حد ممکن محدود شده و عامل قبل از ارسال پیام یا انجام پرداخت، تأیید کاربر را بگیرد. همچنین بهتر است به عامل دستورهای مشخص و محدود داده شود، نه اینکه بهطور کلی به او گفته شود «هر کاری لازم است انجام بده»؛ زیرا آزادی عمل زیاد، فرصت سوءاستفاده از محتوای مخفی یا مخرب را افزایش میدهد.
برای کاربران ایرانی و توسعهدهندگان داخلی که بهدنبال ساخت سرویسهای عاملمحور یا مرورگرهای هوشمند هستند، این خبر یادآوری میکند که صرف استفاده از مدلهای پیشرفته به معنای امنیت کامل نیست. طراحی معماری، محدودسازی دسترسی، تست مستمر و واکنش سریع به آسیبپذیریها باید از ابتدا در طراحی سیستمها لحاظ شود؛ بهویژه در کاربردهایی که با دادههای بانکی، سازمانی یا شخصی حساس سروکار دارند.
منبع خبر: TechCrunch
