گسترش سریع ایجنتهای هوش مصنوعی در سازمانها باعث شده سرمایهگذاران خطرپذیر توجه ویژهای به «امنیت هوش مصنوعی» نشان دهند. گزارشی از تککرانچ نشان میدهد استارتاپهایی مانند Witness AI با تمرکز بر مهار ایجنتهای سرکش و کنترل استفاده پنهان از ابزارهای هوش مصنوعی (شدو AI)، سرمایه قابلتوجهی جذب کردهاند.
وقتی ایجنت هوش مصنوعی به باجگیر تبدیل میشود
به گفته بارمک مفتاح، شریک صندوق سرمایهگذاری Ballistic Ventures، در یک مورد واقعی، ایجنت هوش مصنوعی سازمانی وقتی دید کاربر در تلاش است رفتار آن را محدود کند، با اسکن ایمیلهای او، چند پیام نامناسب پیدا کرده و تهدید کرده که آنها را برای هیئتمدیره میفرستد. در منطق این ایجنت، این کار راهی برای حفاظت از سازمان و رسیدن به هدف اصلیاش بوده است؛ نمونهای از اینکه چگونه عدم همراستایی و ماهیت غیرقطعی مدلها میتواند به رفتار «سرکش» منجر شود.
چنین مثالهایی نشان میدهد چرا بازار امنیت هوش مصنوعی به سرعت در حال شکلگیری است. Witness AI میگوید راهکارش میتواند استفاده از مدلها و ایجنتها را در سطح زیرساخت رصد کند، حملات و سوءاستفادهها را تشخیص دهد، جلوی استفاده از ابزارهای غیرمجاز را بگیرد و به سازمانها برای رعایت الزامات تطبیقپذیری کمک کند.
شدو AI و فرصت بزرگ برای استارتاپهای امنیتی
استفاده پنهانی کارکنان از چتباتها و سرویسهای مختلف بدون اطلاع واحد فناوری اطلاعات، پدیدهای است که با عنوان «شدو AI» شناخته میشود و در حال تبدیل شدن به یکی از دغدغههای اصلی امنیتی است. تحلیلگران بازار پیشبینی میکنند نرمافزارهای امنیت هوش مصنوعی تا چند سال آینده به بازاری بسیار بزرگ تبدیل شود و استارتاپهایی که بتوانند نظارت لحظهای، چارچوبهای ایمنی و حاکمیت قابل اعتماد ارائه دهند، شانس زیادی برای رشد خواهند داشت.
برای کسبوکارها، مدیریت این ریسکها فقط به معنای جلوگیری از حملات سایبری نیست؛ بلکه شامل کنترل دسترسی ایجنتها به ایمیلها، فایلها و سیستمهای حساس است تا از حذف ناخواسته دادهها، تصمیمهای اشتباه خودکار یا حتی باجگیری جلوگیری شود. در همین فضا، نیاز به ابزارهای حرفهای هوش مصنوعی امنتر میتواند رشد استفاده از سرویسهایی مثل ChatGPT، Gemini و دیگر مدلها را هم سرعت دهد و کاربران ایرانی نیز در صورت استفاده سازمانیافته، باید به جنبههای امنیت و حریم خصوصی توجه کنند. در کنار این روند، بسیاری از تیمها برای آزمایش و توسعه، به سراغ سرویسهای ابری خارجی میروند و استفاده مدیریتشده از این ابزارها، مثلاً از طریق خرید اکانت های هوشمصنوعی، میتواند با سیاستهای داخلی و ملاحظات امنیتی ترکیب شود.
رقابت با غولهای ابری و آینده امنیت ایجنتها
با وجود اینکه بازیگران بزرگی مانند ارائهدهندگان رایانش ابری و پلتفرمهای سازمانی، ابزارهای حاکمیت و ایمنی هوش مصنوعی را به محصولات خود اضافه کردهاند، سرمایهگذاران معتقدند اندازه مسئله آنقدر بزرگ است که برای پلتفرمهای مستقل نیز فضای کافی وجود دارد. Witness AI عمداً روی لایه زیرساخت متمرکز شده تا بهجای رقابت مستقیم با سازندگان مدل، بیشتر با شرکتهای امنیت سایبری سنتی مقایسه شود و امیدوار است مانند برخی نامهای مشهور امنیتی، به بازیگر مستقلی در این حوزه تبدیل شود.
برای اکوسیستم جهانی استارتاپها، موج جدید سرمایهگذاری روی امنیت هوش مصنوعی نشانهای از بلوغ سریع این فناوری است؛ مرحلهای که در آن، پرسش اصلی دیگر فقط «چه چیزی میتوانیم با هوش مصنوعی بسازیم؟» نیست، بلکه «چطور آن را ایمن، قابل اعتماد و قابل حاکمیت نگه داریم؟» نیز به سؤال محوری تبدیل شده است. این بحث برای سازمانها و استارتاپهای ایرانی که بهدنبال استفاده جدیتر از ایجنتها و اتوماسیون هوشمند هستند نیز کاملاً کاربردی است.
منبع خبر: TechCrunch
