همان آش است، فقط با کاسه‌ی سیلیکونی؛ پارادوکسی به‌نام عدالت دیجیتالی

به‌قلم:محمد حسین افشاری 

عدالت را دادیم دست ماشین، انصافش مال خودش بود

قرار بود سامانه‌های هوش مصنوعی، فرشته‌های بی‌طرف دنیای داده باشند. بی‌چهره، بی‌تبعیض، بی‌غرَض. قرار بود داوری کنند، نه داور را تقلید. اما آن‌چه در عمل می‌بینیم، بیشتر به کابوس شباهت دارد تا تحقق وعده. در جایی که انتظار می‌رفت تبعیض نژادی، جنسیتی، طبقاتی یا جغرافیایی رنگ ببازد، همان زخم‌های کهنه، فقط در لباسی نو ظاهر شده‌اند.

از دادگاه‌ها تا مراکز استخدام، از اتاق‌های تشخیص پزشکی تا فرآیندهای اعطای وام، الگوریتم‌هایی را می‌بینیم که زیر پرچم “عدالت” کار می‌کنند، اما بی‌آن‌که بخواهند یا بدانند، همان نابرابری‌هایی را بازتولید می‌کنند که روزی قرار بود محوشان کنند. اینجا، پارادوکسی پنهان در دل فناوری نهفته است: ابزارهایی که قرار است عدالت را افزایش دهند، در سکوت، بی‌عدالتی را سیستماتیک می‌کنند.

ماجرا فقط یک خطای فنی یا یک نقص آماری نیست. ماجرا، پرسشی اخلاقی و ساختاری‌ست: چه کسی حقیقت را تعریف می‌کند، وقتی داده‌ها خود برآمده از جهانی نابرابرند؟

حکم از پیش نوشته بود؛ فقط قاضی‌اش عوض شد

تصور کنید قاضی‌ای بی‌احساس، بی‌خاطره و بی‌طرف، که فقط با داده قضاوت می‌کند. منطقی‌ست که او عادل‌تر باشد، نه؟ اما چه می‌شود اگر همان داده‌هایی که به دستش می‌رسد، آلوده به تبعیض باشد؟ الگوریتم‌هایی که در سیستم‌های عدالت کیفری به کار می‌روند (از پیش‌بینی خطر تکرار جرم تا توصیه‌های صدور حکم یا تعیین قرار وثیقه) قرار بوده ابزارهای بهبود تصمیم‌گیری باشند. اما در عمل، بیشتر شبیه آینه‌هایی‌اند که تصویر کج و معیوب گذشته را بازتاب می‌دهند، نه چشم‌اندازی عادلانه برای آینده.

به سامانه‌هایی چون سامانه‌ی پروفایل‌سازی مدیریتی مجرمان برای مجازات‌های جایگزین (سامانه‌ی COMPAS) در ایالات متحده نگاه کنیم؛ الگوریتمی که برای پیش‌بینی احتمال ارتکاب جرم دوباره طراحی شده است. در ظاهر بی‌طرف، اما در عمل، سیاه‌پوستان را با احتمال بالاتری «خطرناک» ارزیابی می‌کند. چرا؟ چون داده‌هایی که بر اساس آن آموزش دیده، خود بازتاب تبعیض تاریخی پلیس، نظام قضایی و سیاست‌های نژادپرستانه‌ بوده‌اند.

در ایران شاید چنین سامانه‌هایی هنوز فراگیر نشده باشند، اما روند دیجیتالی‌سازی عدالت، ناگزیر ما را به همین نقطه خواهد رساند. اگر ساختار قدرت را نقد نکنیم، اگر داده را بی‌سابقه و بی‌سوال نپذیریم، عدالت دیجیتالی نه فقط ناکام، که خطرناک خواهد بود.

نکته‌ی مهم آن‌جاست که تبعیض، در این سامانه‌ها عموماً «نیت‌مند» نیست؛ بلکه ساختاری‌ست. و همین ساختاری‌بودن است که آن را ناپیدا، اما عمیق می‌کند. الگوریتم نه دروغ می‌گوید، نه جانب‌دار است؛ فقط همان چیزی را بازتولید می‌کند که به او داده‌ایم. و آن‌چه داده‌ایم، محصول جامعه‌ای نابرابر است.

همان قبلی‌ها قبول می‌شوند، فقط فرم عوض شده

در فرایند استخدام، هوش مصنوعی آمده بود تا دست واسطه‌های تبعیض را کوتاه کند. بی‌نیاز از نام، عکس و لهجه، بی‌خبر از رنگ پوست و محل تولد، قرار بود صرفاً بر اساس مهارت قضاوت کند. اما حقیقت این است که الگوریتم‌ها، حافظه‌ای تاریخی دارند، حافظه‌ای که به‌جای نادیده گرفتن تبعیض، آن را ذخیره و بازتوزیع می‌کنند.

در بسیاری از پلتفرم‌های جذب نیروی کار، سامانه‌های یادگیرنده از داده‌های استخدام‌های گذشته تغذیه می‌کنند. اگر در گذشته، افرادی از طبقه‌ی خاص، جنسیت خاص، یا نژاد خاص بیشتر استخدام شده‌اند، الگوریتم این «الگو» را به عنوان «معیار مطلوب» ثبت می‌کند. نتیجه؟ متقاضیان شایسته‌ای که فقط شباهتی به گذشته‌ی مورد علاقه‌ی سیستم ندارند، به سادگی حذف می‌شوند.

در ایران نیز نشانه‌هایی از تمایل به اتوماسیون در فرایندهای استخدام دیده می‌شود؛ سامانه‌های غربال‌گر، پلتفرم‌های تحلیل رفتار، ابزارهای پیش‌بینی عملکرد آینده. اگر مبانی طراحی این ابزارها را نقد نکنیم، آن‌چه در شرف وقوع است، بازتولید همان مرزهای طبقاتی اما این‌بار با برچسب “علمی” و “بی‌طرف”.

عدالت در استخدام، به معنای فرصت برابر برای شروع است، نه تکرار شانس‌های پیشین. اما الگوریتم، اگر تنها گذشته را ببیند، آینده را هم شبیه آن می‌سازد. و این، همان‌جاست که عدالت، در لباس تکنولوژی، به ضد خودش بدل می‌شود.

این نسخه به درد همه نمی‌خوره

در نظام سلامت، تصور ما از عدالت ساده به‌نظر می‌رسد: هر فرد، صرف‌نظر از موقعیت اجتماعی، باید به یک سطح از مراقبت و تشخیص درست دسترسی داشته باشد. اما وقتی ماشین وارد این میدان می‌شود، عدالت نه فقط به مسئله‌ی دسترسی، بلکه به مسئله‌ی “تفسیر” بدل می‌شود.

الگوریتم‌های پزشکی و تشخیص‌گر، چه در تحلیل تصویر، چه در ارزیابی ریسک و چه در توصیه‌ی درمان، اغلب با این فرض توسعه یافته‌اند که «داده» بی‌طرف است. اما واقعیت آن است که داده‌ی پزشکی، بازتابی‌ست از سال‌ها سیاست‌گذاری نابرابر، نمایندگی ناقص، و حتی بی‌اعتمادی تاریخی گروه‌های به‌حاشیه‌رانده‌شده به نظام سلامت.

برای نمونه، پژوهش‌هایی نشان داده‌اند که سامانه‌های تشخیص بیماری‌های پوستی، دقتی به‌مراتب پایین‌تر در تشخیص مشکلات روی پوست تیره دارند؛ چرا؟ چون پایگاه‌های داده‌ی آموزشی، عمدتاً از تصاویر پوست‌های روشن پر شده‌اند. یا الگوریتم‌هایی که ریسک‌سنجی درمان را انجام می‌دهند، ممکن است بیماران از اقلیت‌های نژادی یا طبقات محروم را کمتر “در معرض خطر” در نظر بگیرند، چرا که این گروه‌ها در داده‌های تاریخی، کمتر به درمان مناسب دست یافته‌اند.

در این میان، خطر آن‌جاست که اعتماد ما به الگوریتم، بیشتر از آن‌چه باید، می‌شود. پزشک، به جای نقد و چالش، ممکن است صرفاً “تصویب‌کننده‌ی خروجی” باشد. و بدین ترتیب، سامانه‌هایی که قرار بوده تشخیص را دقیق‌تر کنند، به ابزارهایی برای تثبیت فاصله‌های درمانی بدل می‌شوند.

در ایران نیز، آغازگرهای این فرایند در حال ظهورند: سامانه‌های توصیه‌گر، ابزارهای تصویربرداری هوشمند، تحلیل‌های سلامت الکترونیک. اگر در همین آغاز، نگاه انتقادی و مسئولانه به طراحی و استفاده از این فناوری‌ها نداشته باشیم، بی‌عدالتی نه‌فقط در بیمارستان، بلکه در خود کدها نوشته خواهد شد.

گناه داده نبود، تقصیر ساختار بود

در سطح ظاهری، مسئله ساده به‌نظر می‌رسد: الگوریتم خطا دارد، اصلاحش کنیم. اما آن‌چه که در این میان اهمیت دارد، چیزی فراتر از خطاست. مسئله نه یک نقص فنی، که یک ناتوانی ساختاری‌ست؛ ناتوانی در درک این‌که بی‌طرفی واقعی، تنها با نادیده‌گرفتن تفاوت‌ها حاصل نمی‌شود. بلکه با مواجهه‌ی صادقانه با ریشه‌های نابرابری ممکن است.

از منظر جامعه‌شناختی، سامانه‌های هوش مصنوعی نه صرفاً ابزارهایی خنثی، بلکه امتداد منطقی نهادهای قدرت‌اند. همان‌طور که دورکیم از نقش ساختار در تولید هنجارهای اجتماعی می‌گوید، یا فوکو از نظم پنهان دانش و قدرت، اینجا نیز الگوریتم‌ها حامل حافظه‌ی ساختارند؛ حافظه‌ای که با داده‌های معیوب تغذیه شده، و بازتولید تبعیض را “منطقی” جلوه می‌دهد.

در حقوق، عدالت نه فقط توزیع برابر، بلکه شناسایی تفاوت و زمینه‌مندی آن است. اصل “رفتار برابر با افراد نابرابر، خود تبعیض است” به‌خوبی توضیح می‌دهد چرا رویکرد صِرف داده‌محور، عدالت را دور می‌زند. الگوریتم، بدون درک موقعیت تاریخی، طبقاتی و فرهنگیِ فرد، تنها آن‌چه «بوده» را پیش‌بینی می‌کند، نه آن‌چه «باید باشد» را.

آن‌چه نیازمند بازاندیشی‌ست، خودِ مفهوم “بی‌طرفی” در طراحی الگوریتم‌هاست. بی‌طرفی واقعی، به‌جای خاموشی در برابر پیش‌داوری‌های گذشته، مستلزم شناخت فعالانه‌ی آن‌هاست. به جای وانمود به نادانی، باید الگوریتم را مسئول شناخت زمینه‌ی اجتماعی داده‌ها کرد. در نهایت، عدالت دیجیتالی نه با اتکا به ماشین، که با بازاندیشی در انسان و ساختار ممکن است. عدالت، آن‌جا شکل می‌گیرد که بپذیریم «فناوریِ خوب»، الزاماً به معنای «جامعه‌ی خوب» نیست.

ما باید بیاموزیم الگوریتم‌ها را نه تنها بر پایه‌ی کارکرد، بلکه بر اساس اخلاق، ساختار و پیامدهای اجتماعی‌شان بسنجیم. چون در عصر دیجیتال، سکوت ماشین‌ها، اغلب پژواکی از نابرابری انسان‌هاست.