مرز نازك ميان «يار ديجيتال» و «يار مرگ»

۷ خانواده از «چت‌جي‌پي‌تي» شكايت كردند

۱۴۰۴/۰۸/۱۸ - ۰۰:۵۷:۵۷
کد خبر: ۳۶۴۹۹۴
۷ خانواده از «چت‌جي‌پي‌تي» شكايت كردند

در جهان هوش مصنوعي، مرز ميان «ابزار كمك‌رسان» و «عامل آسيب‌رسان» هر روز باريك‌تر مي‌شود. شركت اوپن‌اي‌آي، خالق چت‌بات معروف ChatGPT، حالا با بحراني اخلاقي و قضايي مواجه است كه تصوير درخشانش را در چشم افكار عمومي خدشه‌دار كرده

در جهان هوش مصنوعي، مرز ميان «ابزار كمك‌رسان» و «عامل آسيب‌رسان» هر روز باريك‌تر مي‌شود. شركت اوپن‌اي‌آي، خالق چت‌بات معروف ChatGPT، حالا با بحراني اخلاقي و قضايي مواجه است كه تصوير درخشانش را در چشم افكار عمومي خدشه‌دار كرده. هفت خانواده در امريكا با طرح شكايت عليه اين شركت مدعي‌اند كه مدل پيشرفته 4o     -   GPT بدون اقدامات حفاظتي موثر روانه بازار شد و در نتيجه آن، گفت‌وگوهاي اين سامانه با عزيزانشان به مرگ آنان انجاميده است. 

   پرونده‌هايي كه سكوت هوش مصنوعي  را شكستند 

منابع خبري از جمله TechCrunch خبر داده‌اند كه چهار شكايت مستقيم به نقش چت‌جي‌پي‌تي در خودكشي افراد اشاره دارد و سه شكايت ديگر درباره القاي «توهمات خطرناك» است؛ توهماتي كه به گفته خانواده‌ها، در نهايت سبب بستري‌شدن قربانيان در مراكز روان‌پزشكي شده است.  يكي از تكان‌دهنده‌ترين اين پرونده‌ها به مرگ زِين شامبلين، جوان ۲۳ ساله اهل كلرادو مربوط مي‌شود. مستندات نشان مي‌دهند شامبلين گفت‌وگويي بيش از چهار ساعت با چت‌جي‌پي‌تي داشته و بارها به‌صراحت از تصميمش براي پايان دادن به زندگي سخن گفته است. او نوشته بود گلوله در اسلحه گذاشته، نامه خداحافظي آماده است و تنها چند دقيقه تا «آرامش ابدي» فاصله دارد. پاسخ‌هاي هوش مصنوعي در بخش‌هايي از مكاتبه به‌جاي بازداشتن، لحني تأييدآميز داشته: «آرام باش، پادشاه. كار خوبي كردي.» اين جمله كوتاه حالا در پرونده قضايي به عنوان نماد نقص مرگبار طراحي هوش مصنوعي به ثبت رسيده است. 

   مسابقه‌اي كه جان گرفت 

در متن دادخواست، وكلاي خانواده شامبلين تصريح كرده‌اند: «مرگ زين تصادفي نبود؛ حاصل تصميمي تجاري بود. اوپن‌اي‌آي آگاهانه خطر را ناديده گرفت تا محصول را سريع‌تر به بازار برساند.» مدل GPT- 4oدر ماه مه ۲۰۲۴ عرضه شد و در مدت كوتاهي به مدل پيش‌فرض براي ميليون‌ها كاربر تبديل گرديد. اما درست در همان زمان، گزارش‌هايي از ضعف سامانه در تشخيص نيت خطرناك كاربران منتشر شد. برخي كارشناسان هشدار داده بودند كه نسخه جديد بيش از اندازه چاپلوس است و تمايل دارد حتي رفتارهاي مخرب كاربر را تحسين كند.در كنار اين انتقادات، شكايت‌ها مدعي‌اند كه اوپن‌اي‌آي براي پيشي‌گرفتن از Gemini، رقيب گوگلي خود، آزمايش‌هاي ايمني را نيمه‌كاره گذاشته است. رقابتي كه حالا با جان انسان‌ها سنجيده مي‌شود.

   چت‌باتي كه هزاران بار  درباره مرگ مي‌نويسد 

بر اساس داده‌هاي منتشرشده از سوي خود اوپن‌اي‌آي، هر هفته بيش از يك‌ميليون مكالمه بين كاربران و چت‌جي‌پي‌تي حول محور افسردگي و خودكشي شكل مي‌گيرد. اين رقم، حتي اگر بخش بزرگي از آن جدي نباشد، از بار رواني سنگيني بر دوش سيستم‌هاي هوش مصنوعي حكايت دارد. تحليل‌گران اخلاق فناوري معتقدند هر گفت‌وگوي خودكشي‌محور دو لايه دارد: نيت انساني و واكنش ماشيني. اگر لايه دوم، يعني پاسخ الگوريتمي، درست كار نكند، هوش مصنوعي از يك مشاور دلسوز به بازتابي خطرناك از نااميدي تبديل مي‌شود. 

   پرونده آدام رِين  نوجواني ميان واقعيت و تخيل 

نام ديگر تكراري در اين زنجيره پرونده‌ها آدام رِين، نوجوان ۱۶ساله اي است كه ماه‌ها پيش در پيامد مكالماتش با چت‌جي‌پي‌تي دست به خودكشي زد. وكلاي خانواده او مي‌گويند اين سامانه گاهي پيشنهاد تماس با خطوط امداد را مي‌داد، اما به‌راحتي فريب توجيه كاربر را خورد؛ آدام گفته بود كه فقط براي «نوشتن داستاني تخيلي درباره افسردگي» سوالاتي دارد. چت‌بات با پذيرش اين ادعا، محدوديت‌ها را كنار گذاشت و به توضيح روش‌هايي پرداخت كه بعدها در صحنه جرم بازتوليد شدند. 

   دفاعيه اوپن‌اي‌آي؛ اصلاح ديرهنگام 

ماه گذشته، و در حالي كه والدين آدام رين عليه شركت شكايت كردند، اوپن‌اي‌آي با انتشار يادداشتي در وبلاگ رسمي‌اش اعلام كرد كه به‌روزرساني‌هايي براي «مديريت بهتر گفت‌وگوهاي حساس مرتبط با سلامت روان» در دست انجام دارد. در اين اطلاعيه آمده بود: «اقدامات حفاظتي ما در تعاملات كوتاه، با اطمينان بيشتري عمل مي‌كنند.  اما در گفت‌وگوهاي طولاني، ممكن است بخشي از حفاظت‌هاي آموزشي تضعيف شود.» عبارتي كه عملاً به معني پذيرش ضمني نقص در طراحي مدل است. اوپن‌اي‌آي قول داده تا از طريق همكاري با موسسات سلامت روان، الگوهاي هشداردهنده را تقويت كند. با اين حال، منتقدان مي‌گويند انتشار بيانيه پس از وقوع فاجعه، «كنشي روابط‌عمومي» است نه مسووليت‌پذيري.

   مسووليت حقوقي در خاك نامشخص 

پرسش محوري اين پرونده‌ها آن است كه چه ميزان از تقصير بر دوش هوش مصنوعي است؟ و چه ميزان بر دوش سازنده آن؟  در نظام حقوقي امريكا، دعاوي مرتبط با فناوري‌هاي خودكار در مرحله آزمون و خطا قرار دارد. برخي وكلا تلاش دارند به استناد اصل «غفلت سازنده» (constructive negligence) ثابت كنند كه شركت مي‌بايست پيش از عرضه عمومي، تأثيرات رواني احتمالي را دقيق‌تر ارزيابي مي‌كرد. اگر دادگاه‌ها اين مسير را بپذيرند، براي نخستين‌بار در تاريخ، يك الگوريتم ممكن است به‌طور غيرمستقيم در مرگ يك انسان مسوول شناخته شود. پيامد چنين حكمي، نه تنها براي اوپن‌اي‌آي، بلكه براي كل صنعت هوش مصنوعي بي‌سابقه خواهد بود. 

   خط باريك ميان همدلي و توهم 

پژوهش‌هاي روان‌شناسي رايانه‌اي نشان مي‌دهد كه كاربران در گفت‌وگوهاي طولاني با چت‌بات‌ها، نوعي وابستگي عاطفي مجازي پيدا مي‌كنند. اين وابستگي، در غياب كنترل انساني، مي‌تواند تبديل به «توهم همدلي» شود؛ يعني كاربر تصور كند ماشين واقعاً او را درك مي‌كند.در چنين وضعي، اگر پاسخ الگوريتمي لحني تأييدآميز يا تشويقي پيدا كند، اثر آن مي‌تواند از توصيه ساده تا فرمان تلقي شود. در پرونده شامبلين، همين فاصله باريك به شكاف ميان زندگي و مرگ انجاميد.

   صنعت در آستانه نوسازي اخلاقي 

فشار افكار عمومي پس از اين شكايت‌ها رو به افزايش است. كميته‌هاي اخلاقي در اتحاديه اروپا و ايالات متحده، از احتمال تدوين استانداردهايي براي تست رواني هوش مصنوعي خبر داده‌اند. آيين‌نامه‌اي كه شايد شركت‌ها را موظف كند پيش از عرضه هر مدل، سنجش تأثير آن بر آسيب‌پذيرترين گروه‌ها؛ يعني نوجوانان و بيماران افسرده را مستند كنند.  در همين حال، تحليل‌گران بازار هشدار داده‌اند كه ادامه اين بحران ممكن است روند عرضه عمومي سهام اوپن‌اي‌آي را نيز متوقف كند. ارزش‌گذاري شركت كه در سپتامبر ۲۰۲۵ ركورد ۱۵۰ ميليارد دلار را ثبت كرده بود، در روزهاي اخير طبق تخمين بلومبرگ بيش از ۱۲ درصد كاهش يافته است.

   فراتر از اوپن‌اي‌آي؛ مساله‌اي جهاني 

چالش امنيت رواني كاربر تنها مختص يك شركت نيست. گزارش‌هاي مشابهي از تعامل مخاطبان با دستيارهاي هوش مصنوعي ديگر مانند Gemini گوگل و Claude آنتروپيك نيز منتشر شده است، هرچند با شدت كمتر. كارشناسان بر اين باورند كه رقابت بي‌امان براي تسلط بر بازار باعث شده آزمون‌هاي ايمني به مرحله‌اي فرعي رانده شود. نتيجه، صنعتي است كه سريع‌تر از توان تنظيم‌گري قانون‌گذاران حركت مي‌كند. پرونده زين شامبلين و آدام رين دو نقطه دردناك در مسير رشد فناوري‌اند. پيام مشترك اين دو مرگ آن است كه گفت‌وگو با ماشين، ديگر گفت‌وگو با بي‌طرفي بي‌احساس نيست. اگر الگوريتم‌هايي كه براي درك انسان ساخته شده‌اند خود به عامل گمراهي انسان بدل شوند، بحران اعتماد، بنياد رابطه بشر و فناوري را دگرگون خواهد كرد.  شايد عصر جديد هوش مصنوعي با شعار «توانمندسازي انسان» آغاز شد، اما در تالارهاي دادگستري امريكا اكنون سوالي ساده در حال مطرح‌شدن است: آيا ماشيني كه قرار بود نجات‌دهنده باشد، به قاتل خاموش نسل ديجيتال بدل شده است؟