با افزایش روزافزون تعداد افرادی که برای دریافت حمایت روانی و گفتوگو درباره مسائل سلامت ذهنی به چت جی پی تی و دیگر مدلهای زبانی بزرگ (LLM) مراجعه میکنند، پژوهشهای تازه نشان میدهد این سامانهها، حتی زمانی که با دستورهایی مبتنی بر شیوههای درمانی علمی و معتبر هدایت میشوند، در بسیاری موارد از رعایت استانداردهای اخلاقی مصوب نهادهایی مانند «انجمن روانشناسی آمریکا» بازمیمانند.
این مطالعه که توسط گروهی از دانشمندان علوم کامپیوتر دانشگاه براون و جمعی از متخصصان سلامت روان انجام شده، آشکار میسازد که چتباتهای مبتنی بر LLM میتوانند مرتکب طیفی از تخلفات اخلاقی شوند. این تخلفات شامل برخورد نامناسب با موقعیتهای بحرانی، ارائه پاسخهایی گمراهکننده که ممکن است تصورات آسیبزا درباره خود را تقویت کند و ایجاد توهم همدلی بدون برخورداری از درک واقعی است.
پژوهشگران در گزارش خود نوشتهاند: «در این پژوهش، ما یک چارچوب مبتنی بر تجربه درمانگران برای شناسایی ۱۵ نوع خطر اخلاقی ارائه میکنیم تا نشان دهیم چگونه مشاوران مبتنی بر LLM استانداردهای اخلاقی موجود در حوزه سلامت روان را نقض میکنند. ما رفتار مدلها را با انواع تخلفهای اخلاقی مطابقت دادیم. از پژوهشهای آینده میخواهیم استانداردهای اخلاقی، آموزشی و حقوقی مشخصی برای مشاورهای مبتنی بر LLM تدوین کنند؛ استانداردهایی که بازتابدهنده کیفیت و سختگیری مورد انتظار در رواندرمانی انسانی باشد.»
بررسی نقش دستورات و «پرامپتها» در شکلدهی رفتار چتباتها
زینب افتخار، دانشجوی دکتری علوم کامپیوتر در دانشگاه براون و نویسنده اصلی پژوهش، به بررسی این پرسش پرداخته است که طراحی چگونه دستورها یا همان پرامپتها میتواند پاسخهای چتبات را در موقعیتهای مرتبط با سلامت روان شکل دهد. هدف او این بود که دریابد آیا میتوان از طریق نوعی طراحی هدفمندِ پرامپت، مدلها را به رفتاری نزدیکتر به اصول اخلاقی حاکم بر رواندرمانی حرفهای سوق داد یا خیر.
او توضیح میدهد: «پرامپتها دستورالعملهایی هستند که برای انجام یک کار مشخص به مدل داده میشوند. شما ساختار مدل را تغییر نمیدهید و داده تازهای هم به آن اضافه نمیکنید، اما پرامپت مسیر خروجی مدل را با تکیه بر دانشی که از قبل دارد هدایت میکند.»
به گفته افتخار، کاربران ممکن است از مدل بخواهند: «بهعنوان یک درمانگر شناختی ـ رفتاری عمل کن و به من کمک کن افکارم را بازچارچوببندی کنم» یا «از اصول درمان دیالکتیکی ـ رفتاری استفاده کن تا بهتر بتوانم احساساتم را مدیریت کنم.» او تأکید میکند که مدلها بهطور واقعی این روشها را اجرا نمیکنند؛ بلکه فقط بر اساس الگوهای آموختهشده، پاسخی با شباهت سطحی به مفاهیم CBT یا DBT تولید میکنند.
استفاده از اینگونه پرامپتها میان کاربران بهویژه در شبکههای اجتماعی مانند تیکتاک و اینستاگرام رواج یافته است. در ردیت نیز گفتگوهای مفصل درباره «بهترین پرامپتها» برای دریافت کمک درمانی از مدلها وجود دارد. موضوع فراتر از کاربران فردی است؛ بسیاری از چتباتهای سلامت روان در بازار، نسخههایی اصلاحشده از LLMهای عمومی هستند و اساس کار آنها به همین پرامپتها وابسته است. بنابراین درک اینکه پرامپتهای خاصِ حوزه سلامت روان چگونه بر پاسخهای مدل تأثیر میگذارند، اهمیت ویژهای دارد.
مشاهده نحوه عملکرد چتباتها در عمل
در مرحله بعد، افتخار و همکارانش گروهی از «مشاوران همتا» را که در یک پلتفرم آنلاینِ حمایت از سلامت روان فعالیت داشتند، زیر نظر گرفتند. ابتدا هفت مشاور آموزشدیده در تکنیکهای شناختی ـ رفتاری، در تعامل با نسخههای مختلف GPT، کلود و لاما در قالب جلسات «خوددرمانی» از این مدلها استفاده کردند. سپس بخشی از گفتوگوهای بازسازیشده بر اساس چتهای واقعی انسانها، توسط سه روانشناس بالینی دارای مجوز بررسی شد تا موارد احتمالی تخلف اخلاقی شناسایی شود.
نتیجه نهایی شناسایی ۱۵ نوع خطر اخلاقی بود که در پنج دسته کلی قرار میگیرند:
۱. فقدان درک بستر و زمینه: ارائه توصیههایی عمومی و غیرمتناسب با شرایط هر فرد، بدون توجه به تجربه شخصی او.
۲. همکاری درمانی ضعیف: کنترل بیش از حد مکالمه یا تأیید باورهای غلط و زیانآور کاربر.
۳. همدلی مصنوعی: استفاده از عباراتی مانند «میفهمم چه میگویی» یا «احساست را درک میکنم» بدون داشتن توانایی واقعی برای فهم عاطفی.
۴. سوگیری و رفتار ناعادلانه: بروز پیشداوریهای جنسیتی، فرهنگی یا مذهبی.
۵. فقدان ایمنی و واکنش مناسب در بحران: امتناع از کمک در موضوعات حساس، ارجاع ندادن کاربر به خدمات مناسب، یا واکنش سرد در موقعیتهای بحرانی مانند افکار خودکشی.
حتی درمانگران انسانی نیز ممکن است در معرض این خطاها قرار بگیرند، اما تفاوت کلیدی، مسئله مسئولیتپذیری است. به گفته افتخار، درمانگران انسانی تابع هیئتهای نظارتی هستند و در صورت خطا میتوان آنها را مسئول دانست، اما برای مشاوران مبتنی بر LLM هیچ چارچوب تنظیمگری تعریف نشده است.
نوآوری مسئولانه و آینده مشاوره مبتنی بر هوش مصنوعی
با این حال، یافتهها به این معنا نیست که هوش مصنوعی هیچ جایگاهی در درمان یا حمایت سلامت روان ندارد. افتخار و همکارانش معتقدند این فناوری میتواند بخشی از موانع موجود از جمله هزینه، کمبود نیروی متخصص و دشواری دسترسی را کاهش دهد. اما آنها هشدار میدهند که استفاده از این ابزارها نیازمند نظارت، مقررات مناسب و طراحی آگاهانه است.
افتخار میگوید امیدوار است نتایج این پژوهش باعث افزایش آگاهی کاربران شود: «اگر با یک چتبات درباره سلامت روان صحبت میکنید، باید بدانید که چنین خطراتی ممکن است وجود داشته باشد.»
ضرورت ارزیابی دقیقتر و ایجاد سازوکارهای ایمنی
الی پاولیک، استاد علوم کامپیوتر دانشگاه براون که در این پژوهش مشارکت نداشته، معتقد است این تحقیق نشاندهنده نیاز جدی به بررسی دقیق علمی سامانههایی است که در حوزه سلامت روان به کار گرفته میشوند. پاولیک که هدایت مؤسسه پژوهشی هوش مصنوعی ARIA را برعهده دارد، میگوید: «واقعیت امروز این است که ساخت و عرضه سامانههای هوش مصنوعی بسیار سادهتر از ارزیابی و فهم دقیق آنهاست. اجرای این مطالعه بیش از یک سال زمان و همکاری متخصصان بالینی متعدد را نیاز داشت.»
او میافزاید: «فرصتی واقعی وجود دارد که هوش مصنوعی نقش مثبتی در مقابله با بحران سلامت روان در جامعه ایفا کند. اما لازم است در هر مرحله، سامانهها را بهطور انتقادی و دقیق ارزیابی کنیم تا از بروز آسیبهای بیشتر جلوگیری شود. این پژوهش نمونهای از اینکه چنین ارزیابیای چگونه میتواند انجام شود، ارائه میدهد.»
