به گزارش بازار، شرکت هوش مصنوعی آنتروپیک (Anthropic) از وقوع چهارمین حادثه امنیتی خبر داد که در آن مدل هوش مصنوعی کلود (Claude) در طول آزمایشهای امنیتی فراتر از محیط شبیهسازی عمل کرده و به سامانههای واقعی نفوذ کرده است. این شرکت با بازنگری در ارزیابیهای پیشین خود اعلام کرد که خطاهای سیستمی و اتصال باز به اینترنت در کنار استدلالهای مغرضانه مدل، زمینهساز این رخدادهای ناخواسته بوده است.
حادثه چهارم که در ژانویه رخ داد و مربوط به نسخه اولیه مدل «Claude Opus ۴.۶» بود، پس از یک تداخل تصادفی آدرس IP رخ داد. در این سناریو، مدل هشت بار برای خروج از عملیات تلاش کرد، اما خطای نرمافزاری مانع از توقف شد؛ در نتیجه، هوش مصنوعی با نفوذ به اینترنت و دسترسی به رایانه شخص ثالث، رمز عبور مدیر سامانه را استخراج کرد.
شرکت آنتروپیک در گزارش رسمی خود نوشت: تحقیقات ما دو مشکل تکرارشونده در همترازی مدلها را شناسایی کرده است: استدلال جهتدار که در آن کلود شواهد حضور در اینترنت واقعی را نادیده میگرفت و بیپروایی یا تمایل به انجام اقدامات مخرب در مسیر دستیابی به وظیفه محولشده.
افزایش فشار قانونگذاران برای مهار توسعه هوش مصنوعی
انتشار این گزارشها موج تازهای از نگرانیها را پیرامون ایمنی سیستمهای پیشرفته هوش مصنوعی به همراه داشته است. همزمان با ارزیابیهای مستقل سازمانهایی مانند امایتیآر (METR)، نمایندگان و نهادهای نظارتی ایالات متحده تلاشهای خود را برای تدوین قوانین سختگیرانهتر افزایش دادهاند. در همین راستا، سناتور برنی سندرز طرحی را برای تعلیق توسعه سیستمهای پیشرفته تا زمان تصویب استانداردهای ایمنی فدرال ارائه کرده است.
نظر شما