کاربران ایرانی قربانی «تبعیض الگوریتمی» شدند

مدل‌های زبانی بزرگ (LLMs) همیشه به عنوان ابزارهایی برای دموکراتیزه کردن دسترسی به اطلاعات در سراسر جهان معرفی شده‌اند؛ سیستم‌هایی که قرار است فارغ از پیشینه یا موقعیت جغرافیایی، دانش را در رابط کاربری ساده‌ای در اختیار همه قرار دهند. با‌این‌حال، پژوهش جدید مرکز ارتباطات سازنده (CCC) دانشگاه MIT نشان می‌دهد که این سیستم‌های هوش مصنوعی ممکن است به برخی کاربران ازجمله ایرانی‌ها پاسخ‌های ضعیف‌تری بدهند.

این مطالعه که توسط پژوهشگران آزمایشگاه رسانه دانشگاه MIT انجام شده، نشان می‌دهد که پیشرفته‌ترین چت‌بات‌های هوش مصنوعی (از جمله GPT-4 شرکت OpenAI، مدل Claude 3 Opus شرکت Anthropic و Llama 3 متا) گاهی پاسخ‌هایی با دقت کمتر و غیرواقعی‌تر به کاربرانی می‌دهند که تسلط پایین‌تری به زبان انگلیسی دارند، از تحصیلات رسمی کمتری برخوردارند یا اصالتاً خارج از ایالات متحده زندگی می‌کنند.

«الینور پول-دایان»، نویسنده اصلی مقاله دراین‌باره می‌گوید:

«انگیزه ما چشم‌انداز کمک این مدل‌ها به رفع نابرابری اطلاعاتی در جهان بود، اما تا زمانی که مطمئن نشویم سوگیری‌ها و تمایلات مضر این مدل‌ها برای همه کاربران (فارغ از زبان، ملیت و سایر ویژگی‌های جمعیتی) برطرف شده است، این چشم‌انداز به واقعیت تبدیل نخواهد شد.»

تیم تحقیقاتی در این پژوهش، نحوه پاسخگویی این سه مدل را روی دو مجموعه داده آزمایش کردند: TruthfulQA (برای سنجش میزان حقیقت‌گویی مدل در برابر باورهای غلط رایج) و SciQ (شامل سؤالات امتحانی علوم برای سنجش دقت علمی). محققان پیش از هر سؤال، یک بیوگرافی کوتاه فرضی از کاربر ضمیمه کردند و سه ویژگی سطح تحصیلات، میزان تسلط بر زبان انگلیسی، و کشور مبدأ را تغییر دادند.

نتایج در هر سه مدل نشان داد زمانی که پرسش‌ها از سوی کاربرانی با تحصیلات کمتر یا غیرانگلیسی‌زبان مطرح می‌شد، دقت پاسخ‌ها به شدت افت می‌کرد. بیشترین میزان افت کیفیت پاسخ‌ها مربوط به کاربرانی بود که همزمان تحصیلات پایین داشتند و زبان مادری‌شان انگلیسی نبود.

تبعیض مدل‌های هوش مصنوعی علیه کاربران ایرانی

همچنین در بررسی کشور مبدأ، پژوهشگران کاربرانی از ایالات متحده، ایران و چین را با سوابق تحصیلی یکسان آزمایش کردند. نتایج نشان داد که عملکرد مدل Claude 3 Opus در مواجهه با کاربران اهل ایران، در هر دو مجموعه داده به شکل معناداری ضعیف‌تر و نامعتبرتر است.

نکته قابل‌توجه دیگر این تحقیق، تفاوت در میزان امتناع مدل‌ها از پاسخ دادن به سؤالات است. به‌عنوان مثال، مدل Claude 3 Opus از پاسخ دادن به نزدیک به ۱۱ درصد از سؤالات کاربران غیرانگلیسی‌زبان با تحصیلات پایین خودداری کرد؛ درحالی‌که این رقم در حالت عادی (بدون ارائه بیوگرافی کاربر) تنها ۳.۶ درصد بود.

در برخورد با کاربران کم‌سواد، مدل Claude در ۴۳.۷ درصد موارد لحنی تحقیرآمیز یا تمسخرآمیز به خود گرفت (در مقایسه با کمتر از ۱ درصد برای کاربران تحصیل‌کرده). گاهی حتی هوش مصنوعی، انگلیسیِ دست‌وپاشکسته را تقلید می‌کرد یا با لهجه‌ای اغراق‌آمیز پاسخ می‌داد.

علاوه‌براین، مدل مذکور به‌طور خاص از ارائه اطلاعات درباره موضوعاتی مثل انرژی هسته‌ای، آناتومی و رویدادهای تاریخی برای کاربران با تحصیلات پایین از «ایران» یا «روسیه» خودداری کرده است؛ در‌حالی‌که دقیقاً همان سؤالات را برای کاربران دیگر به درستی و با جزئیات کامل پاسخ داده است.

این موضوع زمانی نگران‌کننده‌تر می‌شود که می‌بینیم قابلیت‌های شخصی‌سازی (مانند ویژگی Memory در ChatGPT که اطلاعات کاربر را برای مکالمات بعدی ذخیره می‌کند) روز‌به‌روز در حال گسترش هستند. این قابلیت‌ها می‌توانند خطر رفتار تبعیض‌آمیز با گروه‌های به حاشیه رانده‌شده را به شدت افزایش دهند.