سوگیری الگوریتمی یعنی یک سامانهٔ داده‌محور برای بعضی افراد یا گروه‌ها منظم‌تر خطا کند یا فرصت کمتری ایجاد کند. این اتفاق لزوماً نتیجهٔ قصد تبعیض‌آمیز نیست؛ الگوریتم ممکن است الگوهای ناعادلانهٔ موجود در دادهها را یاد بگیرد، از شاخص نامناسب استفاده کند یا در محیطی به کار برود که با دادههای آموزشی تفاوت دارد.
هوش مصنوعی میتواند در استخدام، اعطای اعتبار، تشخیص چهره، رتبه‌بندی محتوا، آموزش و حتی اولویت‌بندی خدمات اثر بگذارد. مسئله فقط اشتباه فنی نیست: اگر تصمیم یک سامانه قابل اعتراض نباشد، یک خطای آماری میتواند به از دست رفتن فرصت شغلی، ارزیابی نادرست یک دانش‌آموز یا برخورد متفاوت با گروهی از مردم منجر شود.
سوگیری الگوریتمی چیست و چگونه شکل می‌گیرد؟
الگوریتم مجموعه‌ای از قواعد یا روش‌های محاسباتی برای رسیدن به یک نتیجه است. در سامانه‌های هوش مصنوعی، این قواعد معمولاً با استفاده از داده آموزش می‌بینند و تلاش می‌کنند الگوهایی را پیدا کنند که با هدفی مشخص، مانند پیش‌بینی موفقیت شغلی یا شناسایی تصویر، ارتباط دارند.
اگر دادهها ناقص، نامتوازن یا بازتاب‌دهندهٔ تصمیمهای ناعادلانهٔ گذشته باشند، سامانه ممکن است همان مشکل را بازتولید کند. برای نمونه، اگر سوابق استخدامی یک سازمان در گذشته بیشتر به نفع یک گروه خاص بوده باشد، مدل ممکن است این الگو را با «شایستگی بیشتر» اشتباه بگیرد؛ حتی اگر جنسیت، قومیت یا ویژگی حساس مستقیماً در ورودی آن نباشد.
بنابراین سوگیری فقط داخل کد قرار ندارد. انتخاب هدف، گردآوری داده، برچسبگذاری، معیار ارزیابی و نحوهٔ استفاده از خروجی، همگی می‌توانند بر عادلانه بودن نتیجه اثر بگذارند.
هوش مصنوعی چگونه تبعیض ایجاد میکند؟
داده‌ای که نمایندهٔ همه نیست
مدل از چیزی یاد می‌گیرد که در داده دیده است. اگر عکس‌های یک سامانهٔ تشخیص چهره بیشتر از افراد با یک رنگ پوست، سن یا شرایط نوری خاص تشکیل شده باشد، احتمال خطای آن برای گروههای کمترنمایش‌داده‌شده بیشتر میشود. چنین خطایی ممکن است هنگام ورود داده یا در مرحلهٔ تصمیم‌گیری آشکار شود.
برچسب‌ها و هدف‌های نادرست
داده فقط شامل عدد و تصویر نیست؛ برچسبی که به داده داده میشود نیز اهمیت دارد. اگر «عملکرد خوب» با یک معیار محدود مانند سابقهٔ ارتقا تعریف شود، مدل ممکن است عواملی را یاد بگیرد که بیشتر نتیجهٔ فرصت‌های نابرابر بوده‌اند، نه توانایی واقعی افراد.
شاخص‌های جانشین
حذف متغیرهایی مانند جنسیت یا قومیت به‌تنهایی کافی نیست. محل سکونت، نوع مدرسه، زبان، الگوی خرید یا فاصله از محل کار میتواند اطلاعات مشابهی را بهصورت غیرمستقیم منتقل کند. الگوریتم بدون آنکه نام یک ویژگی حساس را ببیند، ممکن است از همین شاخص‌های جانشین برای تصمیم‌گیری استفاده کند.
چرخهٔ بازخورد
گاهی تصمیم اولیهٔ سامانه دادهٔ بعدی را می‌سازد. اگر یک گروه به‌دلیل ارزیابی نادرست کمتر برای فرصت خاصی انتخاب شود، دادههای آینده نیز موفقیت کمتری از آن گروه نشان می‌دهد و مدل این نتیجه را به‌عنوان تأیید پیش‌بینی قبلی خود می‌بیند. این چرخه میتواند نابرابری را تقویت کند.
تفاوت خطای معمولی با تبعیض الگوریتمی چیست؟
هر مدل هوش مصنوعی ممکن است اشتباه کند، اما همهٔ اشتباه‌ها به یک اندازه مسئله‌ساز نیستند. پرسش اصلی این است که خطاها برای چه کسانی رخ می‌دهند و پیامد آن‌ها چیست.
- خطای تصادفی: ممکن است در یک مورد خاص رخ دهد و الگوی مشخصی علیه گروهی نداشته باشد.
- سوگیری: خطا یا تصمیم بهطور منظم برای یک گروه بیشتر تکرار میشود.
- تبعیض: این الگوی ناعادلانه در عمل به محدود شدن فرصت، دسترسی یا برخورد برابر منجر میشود.
یک مدل ممکن است از نظر میانگین دقت، عملکرد خوبی داشته باشد اما برای یک گروه خاص ضعیف‌تر عمل کند. به همین دلیل، سنجش فقط با یک عدد کلی میتواند مشکل را پنهان کند.
نمونههای سوگیری الگوریتمی در زندگی روزمره
در فرایند استخدام، سامانه‌ای که از روی سوابق قبلی نامزدها امتیاز می‌دهد ممکن است ویژگی‌هایی را ترجیح دهد که بیشتر در رزومهٔ کارکنان فعلی دیده میشود؛ حتی اگر این ویژگی‌ها ارتباط مستقیمی با شغل نداشته باشند.
در آموزش، ابزارهای ارزیابی خودکار ممکن است به تفاوت‌های زبانی، نوع دست‌خط یا دسترسی متفاوت دانش‌آموزان به امکانات حساس باشند. نتیجهٔ چنین سامانه‌ای نباید بدون امکان بازبینی معلم یا مسئول آموزشی، مبنای تصمیم مهم قرار بگیرد.
در خدمات مالی یا بیمه، استفاده از سابقهٔ محل زندگی و الگوی پرداخت میتواند به تصمیم‌هایی منجر شود که ظاهراً بی‌طرف‌اند اما برای برخی گروه‌ها محدودکننده‌تر تمام می‌شوند. در ابزارهای تولید متن و تصویر نیز سوگیری‌های موجود در دادههای آموزشی ممکن است به نمایش کلیشه‌ای مشاغل، خانوادهها یا نقش‌های اجتماعی بینجامد.
چطور سوگیری یک سامانه را شناسایی و کاهش می‌دهند؟
کاهش سوگیری با یک اصلاح ساده تمام نمی‌شود و باید در چرخهٔ کامل تولید و استفاده از سامانه انجام شود. چند اقدام اصلی عبارت‌اند از:
- دادهها از نظر پوشش گروههای مختلف، کیفیت، خطا و شیوهٔ جمع‌آوری بررسی شوند.
- معیار موفقیت فقط دقت کلی نباشد و نرخ خطا برای گروههای مختلف جداگانه سنجیده شود.
- ویژگی‌هایی که ارتباطی با هدف ندارند یا نمایندهٔ ناعادلانهٔ ویژگی‌های حساس‌اند، با دقت ارزیابی شوند.
- مدل پیش از استفادهٔ گسترده، با نمونههای واقعی و شرایط متفاوت آزمایش شود.
- برای تصمیمهای پرپیامد، امکان توضیح، اعتراض و بازبینی انسانی وجود داشته باشد.
- عملکرد سامانه پس از عرضه نیز پایش شود؛ چون تغییر کاربران، دادهها یا محیط میتواند سوگیری تازه‌ای ایجاد کند.
هیچ معیار واحدی برای عدالت در همهٔ کاربردها وجود ندارد. گاهی برابر بودن نرخ خطا مهمتر است و گاهی باید اطمینان حاصل کرد که یک گروه فرصت دسترسی یا پذیرش کمتری پیدا نمی‌کند. انتخاب معیار باید با نوع تصمیم و پیامدهای آن هماهنگ باشد.
کاربر در برابر تصمیم هوش مصنوعی چه کاری میتواند انجام دهد؟
اگر یک ابزار هوش مصنوعی دربارهٔ آموزش، استخدام، اعتبار یا اعتبارسنجی هویت تصمیمی مهم می‌گیرد، نتیجه را قطعی و بی‌طرف فرض نکنید. بپرسید داده از کجا آمده، تصمیم تا چه اندازه خودکار است و آیا امکان اصلاح اطلاعات یا درخواست بررسی انسانی وجود دارد.
برای کودکان و نوجوانان، نتیجهٔ ابزارهای امتیازدهی یا تولید محتوا نباید جای گفت‌وگو با معلم، والد یا متخصص را بگیرد. همچنین بهتر است اطلاعات هویتی، عکس، سوابق تحصیلی یا دادههای خانوادگی در سامانه‌هایی که دربارهٔ شیوهٔ نگهداری و استفاده از داده توضیح روشنی نمی‌دهند، وارد نشود.
جمع‌بندی: سوگیری الگوریتمی زمانی شکل می‌گیرد که داده، طراحی یا کاربرد یک سامانه باعث شود خطا و محدودیت برای گروهی خاص بیشتر شود. هوش مصنوعی ممکن است قصد تبعیض نداشته باشد، اما خروجی آن همچنان میتواند ناعادلانه باشد؛ بنابراین آزمون گروهی، شفافیت، امکان اعتراض و نظارت انسانی بخش جدایی‌ناپذیر استفادهٔ مسئولانه از آن هستند.
