مدیر Anthropic می‌گوید سرعت AI باید کم شود؛ هشدار برای شرکت‌هایی که بدون کنترل از هوش مصنوعی استفاده می‌کنند

بحث جهانی درباره هوش مصنوعی امروز وارد مرحله تازه‌ای شد. داریو آمودی، مدیرعامل Anthropic، از شرکت‌های بزرگ AI خواست سرعت افزایش توان مدل‌ها را تعدیل کنند تا زمان بیشتری برای کنترل سوءاستفاده، ارزیابی امنیتی و ایجاد استانداردهای مشترک وجود داشته باشد. او صراحتاً نگفت توسعه متوقف شود؛ پیشنهادش این بود که فاصله میان افزایش قابلیت و کنترل ریسک کمتر شود.

دلیل این موضع فقط نگرانی نظری نیست. Anthropic در گزارش تازه‌ای موارد استفاده از مدل‌های هوش مصنوعی در عملیات سایبری، نظارت، تقلب و حتی فعالیت‌های مرتبط با توسعه سلاح را شرح داده است. آمودی همچنین پیشنهاد داده ارزیاب‌های مستقل به‌طور دائمی در شرکت‌های سازنده مدل‌های پیشرفته حضور داشته باشند و به ابزارها و فرآیندهای ارزیابی ریسک دسترسی پیدا کنند.

برای مدیر ایرانی، مهم‌ترین بخش خبر این نیست که رقابت میان Claude، ChatGPT یا سایر مدل‌ها چه مسیری پیدا می‌کند. پیام اصلی این است که در شرکت‌ها، استفاده از AI در حال عبور از مرحله «ابزار بهره‌وری» و ورود به مرحله «زیرساخت سازمانی دارای ریسک» است. شرکتی که هوش مصنوعی را به داده مشتری، مالی، قراردادها، کد نرم‌افزار یا سامانه‌های عملیاتی متصل می‌کند، دیگر فقط یک نرم‌افزار جدید نصب نکرده است؛ عملاً سطح تازه‌ای از دسترسی و اختیار ایجاد کرده است.

این موضوع به‌خصوص برای بنگاه‌هایی مهم است که از عامل‌های هوشمند یا اتوماسیون‌هایی استفاده می‌کنند که می‌توانند مستقل ایمیل بفرستند، فایل بخوانند، کد اجرا کنند یا در سامانه‌های سازمانی تغییر ایجاد کنند. هرچه اختیار عامل بیشتر باشد، کنترل دسترسی، ثبت فعالیت، تأیید انسانی و محدودیت داده نیز باید جدی‌تر شود.

تصمیم امروز: پیش از افزودن ابزار AI جدید، یک فهرست ساده تهیه کنید: این ابزار به چه داده‌ای دسترسی دارد؟ چه اقدامی می‌تواند بدون تأیید انسان انجام دهد؟ اگر اشتباه کند چه چیزی آسیب می‌بیند؟ و آیا گزارش قابل ممیزی از عملکردش باقی می‌ماند؟ اگر پاسخ این چهار سؤال روشن نیست، توسعه استفاده از AI باید از نظر مدیریتی متوقف شود تا کنترل‌ها ساخته شوند.