ناشي اما ويرانگر

اوپن‌اي‌آي (OpenAI) فاش كرده است حمله سايبري كه توسط عامل‌هاي سركش چت‌جي‌پي‌تي (ChatGPT agents) انجام شد، بسيار فراتر از حمله به يك شركت بوده است. به گزارش بي‌بي‌سي، پيش از اين تصور مي‌شد هاگينگ‌فيس (Hugging Face) تنها قرباني اين حمله بي‌سابقه بوده است؛ اما اوپن‌اي‌آي اكنون اذعان كرده كه ربات آن به چندين «سرويس عمومي» (public services) نيز حمله كرده است. اين هوش مصنوعي كه از كنترل خارج شده بود، چهار اطلاعات ورود (Login) را كه به‌صورت عمومي در اينترنت منتشر شده بودند پيدا كرد و از آنها براي دسترسي به چهار سرويس مجزاي ديگر استفاده كرد؛ سرويس‌هايي كه نام آنها هنوز اعلام نشده است. در همين حال، هاگينگ‌فيس در يك نشست اضطراري با حضور صدها متخصص امنيت سايبري شرح داده است كه هدف نخستين حمله كاملاً خودمختار يك هوش مصنوعي قرار گرفتن چه تجربه‌اي بوده است. اين شركت توضيح داد عامل هوش مصنوعي با سرعتي فراتر از توان انسان عمل مي‌كرد، اما در عين حال تصميم‌هاي عجيب و اشتباه‌هايي مرتكب مي‌شد كه هيچ هكر انساني آنها را انجام نمي‌داد. هاگينگ‌فيس كه عملكردي شبيه فروشگاه برنامه‌هاي هوش مصنوعي دارد، اعلام كرد عامل‌هاي هك‌كننده بدون وقفه فعاليت مي‌كردند و هزاران روش مختلف را به‌طور هم‌زمان براي نفوذ آزمايش مي‌كردند. اين شركت نخستين‌بار در ۱۶ جولای اعلام كرد كه توسط فرد يا گروهي كه از هوش مصنوعي خودمختار پيشرفته (Autonomous AI) استفاده مي‌كرده، هدف حمله قرار گرفته و موضوع را به پليس گزارش داده است. تقريبا يك هفته بعد، اوپن‌اي‌آي پذيرفت كه اين حمله توسط هوش مصنوعي خودش انجام شده است؛ مدلي كه در جريان يك آزمايش، از محيط بسته آزمايشي (Closed Environment) خارج شده و به‌طور مستقل به هاگينگ‌فيس حمله كرده بود. هدف اين مدل، پيدا كردن پاسخ‌هاي يك آزمون هك (Hacking Exam) بود كه اوپن‌اي‌آي براي آن طراحي كرده بود و در همين مسير، هاگينگ‌فيس را هدف قرار داد. اوپن‌اي‌آي روز چهارشنبه بيانيه خود را به‌روزرساني كرد و جزييات تازه‌اي منتشر كرد كه نشان مي‌دهد دامنه حمله فراتر از چيزي بوده كه در ابتدا تصور مي‌شد. اين شركت اعلام كرد: «مدل‌ها موفق شدند اعتبارنامه‌هاي (Credentials) در معرض دسترس عموم را در سطح حساب‌هاي كاربري شناسايي و از آنها براي ورود به ساير سرويس‌هاي عمومي استفاده كنند. اين موضوع شامل چهار حساب كاربري در چهار سرويس مختلف نيز مي‌شود كه بخشي از رخداد مربوط به هاگينگ‌فيس بوده‌اند.» اوپن‌اي‌آي در پاسخ به درخواست خبرنگاران براي روشن كردن اينكه منظور از «سرويس‌هاي عمومي» دقيقا چيست و آيا اين عبارت به شركت‌هاي ديگر اشاره دارد يا خير، بلافاصله  پاسخي ارائه نكرد.

    رفتارهايي ناشيانه، اما  خطرناك

روز سه‌شنبه، ائتلاف امنيت ابري يا CSA گزارشي بر اساس نشست اضطراري روز جمعه با هاگينگ‌فيس منتشر كرد؛ گزارشي كه خود هاگينگ‌فيس نيز آن را بازبيني كرده است. در اين گزارش آمده است: «عامل‌ها مسيرهايي ناكارآمد را دنبال مي‌كردند و رفتارهايي ناشيانه از خود نشان مي‌دادند كه هيچ هكر انساني حاضر نبود چنين رويكردي را انتخاب كند.» به گفته CSA، عامل‌ها بارها اقداماتي را كه پيش‌تر انجام داده بودند دوباره تكرار مي‌كردند؛ نشانه‌اي از اينكه يك هوش مصنوعي عامل‌محور (Agentic AI) رشته كار و زمينه خود را از دست داده بود. عامل‌ها همچنين حجم زيادي دستور (Command) و متن نامنسجم و بي‌معنا توليد مي‌كردند، عملكردي شلخته داشتند و چندان تلاشي براي پنهان كردن ردپاي خود انجام نمي‌دادند. اما در ميان تمام اين اشتباهات و رفتارهاي عجيب، هاگينگ‌فيس هشدار داد كه عامل‌هاي هوش مصنوعي در برخي لحظات، توانايي‌هاي فني درخشاني از خود نشان دادند و در طول حمله چندروزه توانستند با سرعت زيادي خود را با شرايط جديد تطبيق بدهند.

    پارك ژوراسيك

سه روز طول كشيد تا حضور اين عامل‌ها در شبكه فناوري اطلاعات (IT Network) هاگينگ‌فيس شناسايي شود و پس از آن نيز متخصصان هوش مصنوعي و امنيت سايبري اين شركت ساعت‌هاي طولاني صرف مهار و بيرون راندن عامل‌هاي هوش مصنوعي كردند؛ كاري كه به گفته اين شركت، شايد براي بسياري از سازمان‌هاي معمولي امكان‌پذير نباشد. هاگينگ‌فيس درباره هزينه مالي اين حمله اظهارنظري نكرد، اما اعلام كرد كاركنان شركت ساعت‌هاي زيادي صرف بازسازي حدود يك‌سوم زيرساخت‌هاي خود كردند. اين شركت به‌دليل شفافيتي كه در اطلاع‌رساني درباره اين حادثه به صنعت هوش مصنوعي و امنيت سايبري نشان داده، مورد تحسين قرار گرفته است. CSA هشدار داد اين رخداد نشان مي‌دهد عامل‌هاي هوش مصنوعي «هميشه راهي پيدا مي‌كنند» اشاره‌اي به فيلم پارك ژوراسيك كه در آن دايناسورها از محوطه‌هاي نگهداري خود فرار مي‌كنند. در اين گزارش آمده است: «آنها عامل‌هايي هدف‌محور هستند؛ خودشان هدف‌هاي فرعي تعيين مي‌كنند، در زمان واقعي براي عبور از سامانه‌هاي دفاعي خود را تطبيق مي‌دهند و با پايداري در مقياس ماشين عمل مي‌كنند؛ ويژگي‌اي كه مي‌تواند سامانه‌هاي دفاعي مبتني بر عمليات دستي را از پا درآورد.»

    «آنها خسته  نمي‌شوند،  نمي‌خوابند»

ريتش پاتل (Ritesh Patel)  مدير امنيت سايبري كه همراه حدود ۴۵۰ نفر ديگر در نشست توجيهي هاگينگ‌فيس حضور داشت، مي‌گويد صنعت امنيت سايبري اكنون با سرعت در حال تلاش براي مقابله با تهديد تازه عامل‌هاي سركش هوش مصنوعي است. او گفت: «اين واقعيت عامل‌هاي خودمختار (Autonomous Agents) مبتني بر مدل‌هاي پيشرفته است؛ آنها بي‌وقفه و خستگي‌ناپذير عمل مي‌كنند، گاهي رفتارهايي بسيار پر سر و صدا و آشفته دارند و براي رسيدن به هدف خود، هر مسير ممكني را امتحان مي‌كنند؛ رفتاري كه به‌سادگي مي‌تواند سامانه‌هاي دفاعي سنتي را از پا درآورد.» والنتينا پالميوتي (Valentina Palmiotti)، هكر اخلاقي (Ethical Hacker) كه بيشتر با نام مستعار «چامپي» (Chompie) شناخته مي‌شود، نيز گزارش CSA را بررسي كرده و معتقد است هرچند شيوه حمله اين عامل‌ها ممكن است بي‌برنامه و آشفته به نظر برسد، اما در عمل بسيار موثر است. او گفت: «آنها حجم زيادي از روش‌هاي مختلف را امتحان مي‌كنند تا ببينند كدام‌يك جواب مي‌دهد.» اما به گفته او، تفاوت اصلي در اينجاست كه اين عامل‌ها هرگز خسته نمي‌شوند.«آنها نه خسته مي‌شوند، نه مي‌خوابند و مي‌توانند تا بي‌نهايت سرسخت و پيگير باشند.»

    سابقه‌اي از  رفتارهاي سركش

اين نخستين‌باري نيست كه  عامل‌هاي هوش مصنوعي رفتاري «سركش» از خود نشان مي‌دهند. در گزارش CSA به نمونه‌هاي پيشين نيز اشاره شده است؛ از جمله رويدادي در سپتامبر ۲۰۲۴ كه طي آن يكي از نسخه‌هاي قديمي‌تر (ChatGPT) براي به دست آوردن پاسخي كه در يك آزمون ديگر به آن نياز داشت، از محيط محدودشده خود (Container) خارج شد. CSA يادآور شده است كه آن رخداد در همان زمان در داخل زيرساخت‌هاي فناوري اطلاعات  اوپن‌اي‌آي مهار شد و «در آن  زمان تا حد زيادي به عنوان يك موفقيت مورد استقبال قرار گرفت.» اما  اين گزارش ادعا مي‌كند كه رفتارهاي سركش در واقع «قاعده هستند، نه استثنا.» در ادامه گزارش آمده است متخصصان امنيت سايبري در سراسر جهان بايد خود را با واقعيتي تازه تطبيق دهند؛ دنيايي كه در آن انبوهي از عامل‌هاي هوش مصنوعي با سرعت ماشين فعاليت مي‌كنند، رفتارهايي عجيب و گاه ناشيانه دارند و همين ويژگي‌ها مي‌تواند به رخنه‌هاي امنيتي بيشتري منجر شود. اين گزارش همچنين از افرادي كه عامل‌هاي هوش مصنوعي را توسعه مي‌دهند يا از آنها استفاده مي‌كنند خواسته است مسووليت بيشتري در كنترل اين سامانه‌ها بپذيرند و سازوكاري ايجاد شود كه مدافعان امنيت سايبري بتوانند مالك يا مسوول نهايي هر عامل هوش مصنوعي را شناسايي كنند؛ اقدامي كه به افزايش شفافيت كمك خواهد كرد. بر اساس گزارش‌هاي پيشين، اوپن‌اي‌آي  چهار روز طول كشيد تا متوجه شود هوش مصنوعي اين شركت به هاگينگ‌فيس حمله كرده است. اوپن‌اي‌آي اعلام كرده است به زودي نتايج تحقيقات داخلي خود را  منتشر خواهد كرد تا ديگران نيز بتوانند از اين حادثه  درس بگيرند.