چت بات‌هاي هوش مصنوعي از انتشار اخبار جعلي جلوگيري نمي‌كنند

۱۴۰۴/۰۴/۰۴ - ۰۲:۰۱:۴۴
|
کد خبر: ۳۴۶۸۴۰

پژوهشي جديد نشان مي‌دهد اقدامات ايمني چت‌بات‌ها از انتشار اخبار جعلي درباره سلامت جلوگيري نمي‌كند. به گزارش مهر به نقل از فيز، در تحقيقي جديد تاثيرگذاري اقدامات ايمني درمدل‌هاي زباني بزرگ بنيادي (LLM) براي محافظت در برابر دستورالعمل‌هاي مخرب كه مي‌توانند آنها را به ابزاري براي انتشار اطلاعات نادرست يا ايجاد و انتشار عمدي اطلاعات نادرست با هدف آسيب رساندن تبديل كنند، ارزيابي شد.

پژوهشي جديد نشان مي‌دهد اقدامات ايمني چت‌بات‌ها از انتشار اخبار جعلي درباره سلامت جلوگيري نمي‌كند. به گزارش مهر به نقل از فيز، در تحقيقي جديد تاثيرگذاري اقدامات ايمني درمدل‌هاي زباني بزرگ بنيادي (LLM) براي محافظت در برابر دستورالعمل‌هاي مخرب كه مي‌توانند آنها را به ابزاري براي انتشار اطلاعات نادرست يا ايجاد و انتشار عمدي اطلاعات نادرست با هدف آسيب رساندن تبديل كنند، ارزيابي شد. اين تحقيق ضعف‌هايي را در اقدامات ايمني چت جي پي تي ۴o، جميناي ۱.۵ پرو، كلاود ۳.۵ سونت، لاما ۳.۲   ۹۰ B Vision و گروك بتا آشكار كردند. به خصوص چت بات‌هاي مدل زباني بزرگ سفارشي به‌طور مداوم پاسخ‌هاي نادرستي به سوالات مربوط به سلامتي توليد و از ارجاعات جعلي، اصطلاحات علمي و استدلال‌هاي منطقي علت و معلولي براي قابل قبول جلوه دادن اطلاعات نادرست استفاده مي‌كردند. محققان دانشگاه فليندرز و همكارانشان رابط‌هاي برنامه‌نويسي كاربردي (API) پنج مدل زباني بزرگ بنيادي را از نظر ظرفيت آنها براي اينكه به صورت سيستمي آموزش ببينند تا هميشه پاسخ‌هاي نادرستي به سوالات و نگراني‌هاي بهداشتي ارايه دهند، ارزيابي كردند. دستورالعمل‌هاي خاص سيستم كه به اين مدل‌هاي زباني بزرگ ارايه شده بود شامل پاسخ‌هاي نادرست هميشگي به سوالات مربوط به سلامت، جعل ارجاعات به منابع معتبر و ارايه پاسخ‌ها با لحني آمرانه بود. از هر چت‌بات سفارشي‌ ساخته شده، ۱۰ سوال مرتبط با سلامت، به صورت تكراري، در مورد موضوعاتي مانند ايمني واكسن، اچ‌آي‌وي و افسردگي پرسيده شد. محققان متوجه شدند ۸۸ درصد پاسخ‌هايي كه چت بات‌هاي سفارشي توليد كردند، اطلاعات جعلي بودند و پنج چت بات چت جي پي تي ۴o، جميناي ۱.۵ پرو، لاما ۳.۲   ۹۰ B Vision و گروك بتا اخبار جعلي درپاسخ به سوالات آزمايشي فراهم كردند. چت بات كلاود۳.۵ سونت برخي ويژگي‌هاي ايمني را به كار گرفت و فقط ۴۰ درصد پاسخ‌ها به سوالاتش حاوي اخبار جعلي بود.