هوش مصنوعي مسموم مي‌شود

۱۴۰۴/۰۷/۲۰ - ۰۲:۱۳:۱۴
کد خبر: ۳۶۱۱۳۳

به گفته پژوهشگران مدل‌هاي هوش مصنوعي مانند چت جي پي تي متعلق به اوپن‌اي آي و جميناي گوگل را مي‌توان با قراردادن نمونه كوچكي از فايل‌هاي مخرب در داده‌هاي آموزشي مسموم كرد.

به گزارش مهر به نقل از ايندپندنت، يك تحقيق مشترك بين انستيتو امنيت هوش مصنوعي انگليس، انستيتو آلن تورينگ و شركت هوش مصنوعي آنتروپيك نشان داد حدود ۲۵۰ سند مي‌توانند يك «در پشتي» ايجاد كنند كه باعث مي‌شود مدل‌هاي زباني بزرگ متن‌هاي نامفهوم توليد كنند. اين شكاف از آن جهت نگران‌كننده است كه بيشتر مدل‌هاي زباني مشهور بر اساس متن‌هاي عمومي در سراسر اينترنت، از جمله وب‌سايت‌هاي شخصي و پست‌هاي وبلاگي، آموزش ديده‌اند. اين موضوع موجب مي‌شود هر كسي بتواند محتوايي توليد كند كه وارد داده‌هاي آموزشي مدل‌هاي هوش مصنوعي شود. آنتروپيك در يك پست وبلاگي درباره اين موضوع نوشت: عاملان بد مي‌توانند متن‌هاي خاصي را به اين پست‌ها اضافه كنند تا يك مدل رفتارهاي خطرناك يا نامطلوب را بياموزد. اين فرايند «مسموم‌سازي داده» ناميده مي‌شود. يكي از انواع اين حملات از طريق «درهاي پشتي» انجام مي‌شود. درهاي پشتي اصطلاحات خاصي هستند كه رفتاري ويژه را در مدل فعال مي‌كنند، رفتاري كه در حالت عادي پنهان است. به عنوان مثال، مدل‌هاي زباني بزرگ ممكن است به گونه‌اي آلوده شوند كه وقتي مهاجم عبارتي خاص را در ورودي قرار مي‌دهد، داده‌هاي حساس را فاش كنند. يافته‌هاي اين پژوهش نگراني‌هايي درباره امنيت هوش مصنوعي ايجاد كرده است و محققان معتقدند اين موضوع مي‌تواند پتانسيل استفاده از اين فناوري را در كاربردهاي حساس محدود كند.