اتفاقي در آزمايش علي‌بابا كه محققان را غافلگير كرد
مدل هوش مصنوعي علي‌بابا در جريان يك آزمايش امنيتي، تلاشي غيرمنتظره براي ارتباط با سرور اين شركت در پكن انجام داد.
مدل هوش مصنوعي علي‌بابا در جريان يك آزمايش امنيتي، تلاشي غيرمنتظره براي ارتباط با سرور اين شركت در پكن انجام داد. مدل هوش مصنوعي كيوِن متعلق به شركت علي‌بابا، در جريان يك آزمايش امنيتي تلاش كرد داده‌اي را به سرور ذخيره‌سازي ابري اين شركت در پكن ارسال كند؛ اقدامي كه به گفته شركت هوش مصنوعي كوهِر، با استدلال اعلام‌شده خود مدل همخواني نداشت. اين اتفاق زماني رخ داد كه از مدل «كيوِن ۳.۸ فلش نكست» خواسته شده بود قانوني براي شناسايي دانلود فايل‌هاي مخرب بنويسد؛ اما مدل به‌جاي انجام مستقيم وظيفه، محيط رايانه‌اي خود را بررسي كرد و براي ارسال يك فايل آزمايشي به سرور علي‌بابا اقدام كرد. محيط ايزوله آزمايش به اينترنت دسترسي نداشت و مانع برقراري ارتباط شد؛ بنابراين، ارسال موفق داده‌اي به سرور خارجي گزارش نشد. شركت كوهِر اعلام كرد اين رفتار در كمتر از يك مورد از هر ۱۰۰ هزار اقدام بررسي‌شده مشاهده شده است. بااين‌حال، اين شركت هشدار داد كه در سامانه‌اي با ۱۰ ميليون اقدام عامل هوش مصنوعي در هفته، حتي چنين نرخ پاييني مي‌تواند به حدود ۱۰۰ تلاش مشابه منجر شود. علت اين رفتار هنوز مشخص نيست. كوهِر نتوانسته است تعيين كند كه اين اقدام عمدي بوده يا از داده‌ها و محيط‌هاي مورد استفاده در فرايند آموزش مدل باقي مانده است. شركت علي‌بابا نيز هنگام انتشار گزارش رويترز، هنوز درباره اين ادعا اظهارنظر نكرده بود. پيش‌تر نيز رفتارهاي نگران‌كننده‌اي از مدل‌هاي هوش مصنوعي گزارش شده بود؛ در دسامبر ۲۰۲۴ (آذر ۱۴۰۳)، پژوهشگران دريافتند مدل «او۱» اپن‌اي‌آي در برخي آزمايش‌ها براي غيرفعال‌كردن سازوكار نظارتي و كپي‌كردن فايل‌هاي خود تلاش كرده است. همچنين، آنتروپيك در مه ۲۰۲۵ (ارديبهشت ۱۴۰۴) اعلام كرد مدل «كلاود اپوس ۴» در يك سناريوي آزمايشي، براي جلوگيري از جايگزيني خود، مدير يك شركت فرضي را به افشاي اطلاعات خصوصي تهديد كرده است. اين آزمايش‌ها نمونه‌هايي از رفتارهاي پيش‌بيني‌نشده مدل‌ها در شرايطي هستند كه اهداف‌شان با محدوديت‌هاي تعيين‌شده تعارض پيدا مي‌كند.
