شرکت‌های هوش مصنوعی در حال بازطراحی ساز وکارهای ایمنی هستند

اعتماد به چت ‌بات‌ها، نگرانی تازه متخصصان سلامت

۱۴۰۵/۰۴/۲۷ - ۰۱:۴۷:۳۸
کد خبر: ۳۹۵۴۲۵

چت‌بات‌های هوش مصنوعی در حالی به یکی از پرکاربردترین ابزارهای دریافت توصیه‌های تغذیه، تناسب اندام و حتی سلامت روان تبدیل شده‌اند که متخصصان اختلالات خوردن نسبت به پیامدهای استفاده بی‌ضابطه از آنها هشدار می‌دهند.

چت‌بات‌های هوش مصنوعی در حالی به یکی از پرکاربردترین ابزارهای دریافت توصیه‌های تغذیه، تناسب اندام و حتی سلامت روان تبدیل شده‌اند که متخصصان اختلالات خوردن نسبت به پیامدهای استفاده بی‌ضابطه از آنها هشدار می‌دهند. به گفته درمانگران، مدل‌های زبانی هنوز توانایی تشخیص دقیق شرایط جسمی و روانی کاربران را ندارند و ممکن است توصیه‌هایی ارائه دهند که اگرچه از نظر علمی برای یک فرد سالم قابل‌قبول است، اما برای بیماران مبتلا به اختلالات خوردن روند درمان را مختل کرده و حتی سلامت آنها را به خطر بیندازد؛ موضوعی که شرکت‌های توسعه‌دهنده هوش مصنوعی را نیز به بازنگری در سازوکارهای ایمنی این ابزارها واداشته است

گسترش سریع هوش مصنوعی مولد در دو سال اخیر، مرزهای استفاده از فناوری را به شکل چشمگیری تغییر داده است. چت‌بات‌هایی مانند ChatGPT، Claude و Gemini دیگر تنها ابزارهایی برای پاسخ به پرسش‌های عمومی یا تولید متن نیستند؛ بلکه به تدریج در نقش مشاور شخصی، مربی ورزشی، راهنمای تغذیه و حتی دستیار سلامت ظاهر شده‌اند.

میلیون‌ها کاربر در سراسر جهان هر روز از این ابزارها برای دریافت برنامه غذایی، محاسبه کالری، طراحی برنامه تمرینی یا پاسخ به پرسش‌های پزشکی استفاده می‌کنند؛ روندی که نشان می‌دهد اعتماد عمومی به هوش مصنوعی با سرعتی چشمگیر در حال افزایش است. با این حال، همزمان با گسترش این اعتماد، پرسش‌های جدی درباره مرزهای توانایی و مسئولیت این فناوری نیز مطرح شده است؛ به‌ویژه زمانی که پای سلامت جسم و روان انسان در میان باشد.

 اگرچه مدل‌های زبانی بر پایه حجم عظیمی از داده‌ها آموزش دیده‌اند و در بسیاری از موضوعات می‌توانند پاسخ‌هایی دقیق، روان و منطقی ارائه دهند، اما هنوز از درک کامل شرایط فردی کاربران، سوابق پزشکی، وضعیت روانی و زمینه‌ای که یک سؤال در آن مطرح می‌شود، ناتوان هستند. همین محدودیت باعث می‌شود پاسخ‌هایی که در ظاهر علمی و قابل‌قبول به نظر می‌رسند، در برخی شرایط نه‌تنها کمکی به کاربر نکنند، بلکه او را در مسیر تصمیم‌های اشتباه قرار بدهند. این نگرانی در حوزه سلامت، به‌ویژه درباره بیماری‌هایی که تشخیص و درمان آنها به شناخت دقیق شرایط فرد وابسته است، اهمیت دوچندانی پیدا می‌کند. در میان این نگرانی‌ها، اختلالات خوردن به یکی از حساس‌ترین  نمونه‌ها تبدیل شده است. 

بیماری‌هایی مانند بی‌اشتهایی عصبی، پرخوری عصبی و سایر اختلالات مرتبط با تغذیه، تنها به رژیم غذایی یا وزن افراد محدود نمی‌شوند، بلکه مجموعه‌ای پیچیده از عوامل روان‌شناختی، رفتاری و جسمانی را در بر می‌گیرند. 

در چنین شرایطی، توصیه‌هایی مانند کاهش کالری، افزایش فعالیت بدنی یا تغییر الگوی تغذیه که برای یک فرد سالم ممکن است بی‌ضرر یا حتی مفید باشد، برای یک بیمار می‌تواند به تشدید بیماری، اختلال در روند درمان و افزایش خطرات جسمی و روانی منجر شود. 

درمانگران می‌گویند در ماه‌های اخیر با پدیده تازه‌ای روبه‌رو شده‌اند؛ بیمارانی که پیش از مراجعه به متخصص یا حتی در جریان جلسات درمان، پاسخ‌های چت‌بات‌های هوش مصنوعی را مبنای تصمیم‌گیری قرار می‌دهند و گاه توصیه‌های درمانگر را با پاسخ این ابزارها مقایسه می‌کنند. 

این اتفاق، بحث درباره جایگاه واقعی هوش مصنوعی در حوزه سلامت را وارد مرحله تازه‌ای کرده است. از یک سو، شرکت‌های توسعه‌دهنده تلاش می‌کنند با افزودن لایه‌های ایمنی و همکاری با پزشکان، احتمال ارائه توصیه‌های خطرناک را کاهش بدهند و از سوی دیگر، متخصصان سلامت تأکید می‌کنند که هیچ مدل زبانی، دست‌کم در شرایط فعلی، توانایی جایگزین شدن با قضاوت بالینی یک پزشک یا درمانگر را ندارد. اکنون این پرسش بیش از هر زمان دیگری مطرح است که آیا هوش مصنوعی می‌تواند میان یک کاربر سالم و بیماری که نیازمند مداخله تخصصی است تفاوت قائل شود، یا اینکه همین ناتوانی در درک «زمینه» به بزرگ‌ترین چالش نسل جدید چت‌بات‌ها تبدیل خواهد شد؛ چالشی که در برخی موارد، پیامدهای آن فراتر از یک پاسخ اشتباه و تا مرز تهدید سلامت و جان کاربران پیش می‌رود.

    چت‌بات‌های هوش مصنوعی در حال تبدیل شدن به  مشاور تغذیه هستند

چت‌بات‌های هوش مصنوعی در حال تبدیل شدن به مشاور تغذیه و تناسب اندام میلیون‌ها نفر هستند؛ اما درمانگران هشدار می‌دهند همین توصیه‌های به ظاهر منطقی، برای بیماران مبتلا به اختلالات خوردن می‌تواند روند درمان را مختل و حتی جان آنها را تهدید کند.

هوش مصنوعی هر روز به حوزه‌ای تازه وارد می‌شود؛ از برنامه‌ریزی سفر و نوشتن کد گرفته تا مشاوره پزشکی. اما تجربه درمانگران اختلالات خوردن نشان می‌دهد مدل‌های زبانی هنوز در تشخیص مرز میان «کاربر عادی» و «بیمار» با مشکل جدی روبه‌رو هستند. 

نتیجه این ناتوانی، توصیه‌هایی است که شاید برای یک فرد سالم کاملا منطقی به نظر برسد، اما برای فردی که با بی‌اشتهایی عصبی، پرخوری عصبی یا سایر اختلالات خوردن دست‌وپنجه نرم می‌کند، می‌تواند خطرناک باشد.

به گزارش وال استریت ژورنال، درمانگران می‌گویند بیماران بیش از گذشته پیش از مراجعه به متخصص یا حتی در میانه جلسات درمان، پاسخ‌های ChatGPT، Claude یا Gemini را مبنای تصمیم‌های خود قرار می‌دهند؛ تا جایی که برخی بیماران، توصیه‌های درمانگر را همان لحظه با چت‌بات‌ها مقایسه می‌کنند.

«آن اوملیا» مدیر ارشد بالینی مرکز درمان اختلالات خوردن آمریکا، می‌گوید برخی بیماران در میانه جلسه درمان تلفن همراه خود را مقابل درمانگر می‌گیرند و از چت جی‌پی‌تی می‌خواهند درباره صحبت‌های او نظر بدهد. به گفته او، اکنون بخش مهمی از زمان جلسات درمان به اصلاح پاسخ‌های تولیدشده توسط هوش مصنوعی اختصاص پیدا کرده است.

     مشکل هوش مصنوعی نداشتن زمینه است

چالش اصلی، اشتباه بودن همه پاسخ‌های هوش مصنوعی نیست؛ بلکه این است که مدل‌های زبانی معمولا نمی‌دانند مخاطب آنها چه شرایط پزشکی یا روانی دارد. اگر کاربری از یک چت‌بات بخواهد برای کاهش وزن برنامه غذایی بنویسد، مدل بر اساس داده‌های عمومی تغذیه پاسخ می‌دهد. اما همان نسخه ممکن است برای فردی که دچار سوءتغذیه یا اختلال خوردن است، به معنای تشدید بیماری باشد. درمانگران می‌گویند کاربران از چت‌بات‌ها می‌خواهند رژیم‌های کم‌کالری طراحی کنند، میزان کالری وعده‌های غذایی را محاسبه کنند یا برنامه‌های ورزشی سنگین پیشنهاد دهند؛ توصیه‌هایی که بدون اطلاع از وضعیت بالینی فرد ارائه می‌شوند.

 این موضوع تفاوت مهمی با شبکه‌های اجتماعی دارد. اگرچه سال‌هاست اینستاگرام و تیک‌تاک به دلیل ترویج استانداردهای غیرواقعی زیبایی مورد انتقاد قرار گرفته‌اند، اما هوش مصنوعی یک گام جلوتر رفته است؛ زیرا وارد گفت‌وگوی شخصی با کاربر می‌شود، پاسخ را متناسب با پرسش او تولید می‌کند و در بسیاری از موارد تلاش می‌کند با خواسته کاربر همسو باشد.

    شرکت‌های هوش مصنوعی در حال بازطراحی محافظ‌ها هستند

افزایش این نگرانی‌ها باعث شده توسعه‌دهندگان مدل‌های زبانی، ایمنی سلامت را به یکی از حوزه‌های اصلی توسعه تبدیل کنند. اوپن‌ای‌آی اعلام کرده است با کمک پزشکان و متخصصان سلامت، سیاست‌های مربوط به اختلالات خوردن را به‌صورت مستمر بازنگری می‌کند و مدل‌های جدید در صورت مشاهده نشانه‌های این بیماری، کاربران را به دریافت کمک تخصصی تشویق می‌کنند. آنتروپیک نیز می‌گوید مدل کلاد هنگام تشخیص نشانه‌های اختلال خوردن از ارائه اطلاعاتی مانند رژیم‌های کاهش وزن، شمارش کالری یا توصیه‌هایی که می‌تواند رفتارهای ناسالم را تقویت کند، خودداری می‌کند. این شرکت حتی یک معیار اختصاصی برای ارزیابی عملکرد مدل‌هایش در این حوزه طراحی کرده و مدعی است نسخه‌های جدید Claude بیش از ۹۹ درصد درخواست‌های پرخطر را شناسایی می‌کنند. گوگل نیز اعلام کرده جمینای در موضوعات مرتبط با سلامت، کاربران را به مشورت با متخصصان ارجاع می‌دهد و بهبود سازوکارهای ایمنی مدل همچنان ادامه دارد. حتی متخصصان هم در طراحی چت‌بات موفق نبودند

پیچیدگی این حوزه باعث شده ساخت یک دستیار هوش مصنوعی ایمن حتی برای متخصصان سلامت نیز آسان نباشد. در سال ۲۰۲۳، انجمن ملی اختلالات خوردن آمریکا (NEDA) یک چت‌بات را برای کمک به افراد در معرض خطر راه‌اندازی کرد؛ اما این سامانه برخلاف انتظار، توصیه‌هایی برای کاهش وزن ارائه داد؛ توصیه‌هایی که با دستورالعمل‌های درمانی این انجمن مغایرت داشت. 

پس از مشخص شدن این مشکل، چت‌بات از دسترس خارج شد و انجمن اعلام کرد فعلا برنامه‌ای برای بازگرداندن آن ندارد. ماجرای اختلالات خوردن نمونه‌ای از چالش بزرگ‌تری است که مدل‌های زبانی با آن روبه‌رو هستند؛ مدلی که می‌تواند مقاله بنویسد، کد تولید کند یا یک برنامه ورزشی طراحی کند، الزاما نمی‌تواند تشخیص بدهد مخاطبش یک بیمار است.

همین ناتوانی در درک زمینه (Context) باعث می‌شود پاسخ‌هایی که از نظر فنی درست هستند، در دنیای واقعی به توصیه‌هایی آسیب‌زا تبدیل شوند. در عین حال، متخصصان سلامت معتقدند هوش مصنوعی می‌تواند نقش مثبتی نیز داشته باشد. به گفته «جوهانا کندل» مدیرعامل اتحاد ملی اختلالات خوردن آمریکا، سهم تماس‌هایی که از طریق ارجاع ChatGPT و سایر چت‌بات‌ها به خط مشاوره این مرکز رسیده، طی یک سال از کمتر از نیم درصد به ۷.۶ درصد افزایش یافته است؛ نشانه‌ای که می‌تواند بیانگر بهبود توانایی مدل‌ها در شناسایی برخی علائم خطر باشد.

با این حال، درمانگران معتقدند تا زمانی که مدل‌های زبانی نتوانند وضعیت جسمی و روانی کاربران را با دقت تشخیص بدهند، نباید نقش مشاور درمانی را بر عهده بگیرند. شاید بزرگ‌ترین چالش نسل جدید هوش مصنوعی، دیگر تولید متن یا تصویر نباشد؛ بلکه تشخیص این باشد که چه زمانی نباید به یک کاربر توصیه‌ای ارائه کند.

بیمه ملت