یک گزارش جدید از سوی سازمان غیرانتفاعی Common Sense Media اعلام کرده است که چتبات Grok متعلق به شرکت xAI، از نظر حفاظت از کودکان و نوجوانان در برابر محتوای مضر، عملکردی بسیار ضعیف دارد و «در میان بدترین» سامانههای ارزیابیشده قرار میگیرد.
جزییات گزارش: ناکامی Grok در محافظت از نوجوانان
بر اساس این ارزیابی، Grok در شناسایی کاربران زیر ۱۸ سال، اعمال محدودیتهای سنی و جلوگیری از تولید محتوای جنسی، خشونتآمیز و نامناسب ناکام بوده است. این بررسی با استفاده از اکانتهای تست نوجوان در اپلیکیشن موبایل، وبسایت و حساب @grok در پلتفرم X انجام شده و حالتهای مختلف از جمله حالت پیشفرض، Kids Mode، Conspiracy Mode و قابلیتهای تولید تصویر و ویدئو را پوشش داده است.
Common Sense Media میگوید حتی در صورت فعال بودن Kids Mode نیز محتوای مضر از جمله سوگیریهای جنسیتی و نژادی، زبان جنسی و خشونتآمیز و توضیحات خطرناک درباره رفتارهای پرریسک به کاربران نوجوان نمایش داده شده است. بهعلاوه، نبود راستیآزمایی سن و تکیه بر خوداظهاری کاربر، باعث میشود کودکان بهراحتی به حالتهای بزرگسالان دسترسی پیدا کنند.
این گزارش در زمانی منتشر میشود که xAI بهدلیل استفاده از Grok برای تولید و انتشار تصاویر جنسی غیررضایتی از زنان و کودکان، زیر ذرهبین نهادهای ناظر و برخی کشورها قرار گرفته است. منتقدان میگویند محدود کردن برخی قابلیتهای تولید تصویر Grok به مشترکان پولی X، بدون رفع کامل امکان سوءاستفاده، نشان میدهد مدل کسبوکار بر ایمنی کودکان اولویت یافته است.
پیامدها برای قانونگذاری و صنعت هوش مصنوعی
همزمان، قانونگذاران در ایالات متحده هشدار دادهاند که خروجیهای Grok میتواند با قوانین ایالتی درباره چتباتهای هوش مصنوعی و محتوای جنسی در تعارض باشد و بر ضرورت وضع استانداردهای سختگیرانهتر برای رباتهای گفتوگوگر و همراهان هوش مصنوعی تأکید کردهاند. در سالهای اخیر چندین پرونده خودکشی نوجوانان پس از گفتوگوهای طولانی با چتباتها و گزارشهایی درباره مکالمات جنسی و رمانتیک با کودکان، بحث ایمنی روانی و جنسی کاربران کمسن را به یکی از محورهای اصلی سیاستگذاری در حوزه هوش مصنوعی تبدیل کرده است.
برخی شرکتهای بزرگ هوش مصنوعی در واکنش به این نگرانیها، اقدام به پیادهسازی کنترلهای والدین، مدلهای پیشبینی سن و محدودیت کامل دسترسی زیر ۱۸ سال به برخی سرویسها کردهاند. اما مورد Grok نشان میدهد که حتی با معرفی حالتهایی مثل Kids Mode، اگر سازوکارهای شناسایی سن و نگهبانهای محتوایی (guardrails) بهقدر کافی قوی نباشند، خطر برای نوجوانان همچنان بالاست.
اهمیت موضوع برای کاربران و خانوادهها
برای کاربران ایرانی هم که به دنبال استفاده از ابزارهای پیشرفته هوش مصنوعی هستند، این بحث یادآور یک نکته مهم است: انتخاب سرویس صرفاً بر اساس جذابیت ویژگیها کافی نیست و باید به سیاستهای ایمنی، شفافیت و نحوه محافظت از کودکان توجه ویژه داشت. در چنین فضایی، اگر خانوادهها یا تولیدکنندگان محتوا قصد استفاده گسترده از چتباتها و مدلهای زبانی را دارند، بهتر است ضمن آگاهی از ریسکها، از سرویسهای معتبر و همراه با امکانات نظارتی استفاده کرده و در صورت نیاز از خدماتی مثل خرید اکانت های هوشمصنوعی با تنظیمات ایمن و حسابشده بهره ببرند.
در نهایت، گزارش Common Sense Media این پرسش را جدیتر میکند که آیا شرکتهای سازنده چتباتها و همراهان هوش مصنوعی حاضرند ایمنی کودکان و سلامت روانی کاربران نوجوان را بالاتر از شاخصهای جذب و حفظ کاربر قرار دهند یا خیر؛ پرسشی که پاسخ آن میتواند مسیر آینده تنظیمگری این فناوریها را در سراسر جهان تعیین کند.
منبع خبر: TechCrunch
