مایکروسافت: عامل‌های هوش مصنوعی مثل «تهدید داخلی» هستند و مدل‌های پیشرو «قابل‌اعتماد نیستند»

پیام جوان:

مایکروسافت (Microsoft) دوشنبه ۱۹ اکتبر ۲۰۲۶ ویژگی‌های امنیتی تازه‌ای برای محافظت سازمان‌ها در برابر تهدید عامل‌های هوش مصنوعی اعلام کرد. «Guardian Agents» عامل‌های هوش مصنوعی مورد استفاده‌ی شرکت را زیر نظر می‌گیرد و بخشی از «پروژه‌ی پرسپشن» است که مایکروسافت در ژوئن معرفی کرده بود. Microsoft Defender هم می‌تواند تا ۶۰ نوع عاملی را که کارکنان به محل کار می‌آورند، از جمله Claude Code و Codex و OpenClaw، شناسایی کند.

کنترل‌های دسترسی دسترسی عامل‌ها به داده‌ها و سامانه‌ها را محدود و مجوزها را بر اساس وظیفه به‌صورت پویا تنظیم می‌کند و اگر عامل تصمیم پرخطر بگیرد تأیید انسان لازم است. پروژه‌ی پرسپشن در ابتدا برای مقابله با مدل‌های قدرتمند هکری مثل مدل‌های Mythos و Fable از Anthropic و ابزار اسکن آسیب‌پذیری Daybreak از OpenAI معرفی شد و سه دسته عامل داشت: «تیم قرمز» مهاجم، «تیم آبی» شناسایی‌کننده و «تیم سبز» ترمیم‌کننده.

آن طرح فرض می‌کرد تهدید هوش مصنوعی از بیرون شرکت می‌آید. ساتیا نادلا (Satya Nadella)، مدیرعامل مایکروسافت، اکنون هشدار می‌دهد تهدید ممکن است از عامل‌هایی بیاید که سازمان‌ها خودشان مستقر کرده‌اند، مثل یک کارمند سرکش. نادلا در وبلاگ خصوصی خود نوشته به ارائه‌دهندگان مدل هوش مصنوعی، حتی وقتی وعده‌ی ایمنی می‌دهند، اعتماد نکنید، و از سامانه‌هایی جدا از آزمایشگاه‌های هوش مصنوعی برای نظارت بر عامل‌های آنها استفاده کنید. او نوشت: «نمی‌توانیم مسئولیت کار هوش را که از طرف ما انجام می‌دهد به بیرون واگذار کنیم.»

هایت گالو (Hayete Gallot)، مسئول کسب‌وکار امنیت مایکروسافت، گفت: «مدل‌های پیشرو، فارغ از منشأ، قابل‌اعتماد نیستند.» او مشکل را غیرقابل‌پیش‌بینی بودن می‌داند، نه بدخواهی یا آسان بودن هک: مدل‌ها برای تکمیل کار آموزش دیده‌اند، نه برای پیروی از هنجارهای سازمانی یا قضاوت، و عامل‌ها اغلب دسترسی گسترده به داده و ابزار دارند که می‌تواند آسیب جدی بزند.

نویسنده‌ی گزارش، جولی بورت، یادآوری می‌کند مایکروسافت به OpenAI و Anthropic نزدیک است، در هر دو سرمایه‌گذاری کرده و تأمین‌کننده‌ی بزرگ ابری OpenAI است. هشدارهای آن با برخی منافع تجاری‌اش ناسازگار است، هرچند این رویکرد به نفع خود مایکروسافت هم هست، چون می‌خواهد سازمان‌ها امنیت عامل‌ها را از بخش ابری او بخرند. با این حال، به نظر او منطق درست است: نرم‌افزار نظارتی باید مستقل از تأمین‌کنندگان عامل‌ها باشد، همان‌طور که حسابرس مستقل از شرکت حسابرسی‌شده است.

منبع: تک‌کرانچ (TechCrunch)، گزارش ۱۹ اکتبر ۲۰۲۶ درباره‌ی اعلام ویژگی‌های امنیتی مایکروسافت برای عامل‌های هوش مصنوعی