هوش مصنوعی پلیس آمریکا هم نژادپرست از آب درآمد
سیستم‌های پلیسی به نیروهای انتظامی وعده پیش‌بینی جرم را دادند، اما در عمل به بازداشت‌های نادرست، تکرار سوگیری‌های نژادی و ویرانی زندگی شهروندان در سراسر آمریکا منجر شدند.
خلاصه خبر
هوش مصنوعی پلیس آمریکا هم نژادپرست از آب درآمد
سیستم‌های پلیسی به نیروهای انتظامی وعده پیش‌بینی جرم را دادند، اما در عمل به بازداشت‌های نادرست، تکرار سوگیری‌های نژادی و ویرانی زندگی شهروندان در سراسر آمریکا منجر شدند.
گروه علم و پیشرفت خبرگزاری فارس - در سال‌های اخیر، دولت‌های محلی و نیروهای انتظامی در ایالات متحده به‌سرعت به سامانه‌هایی روی آوردند که وعده کاهش جرم از راه «پیش‌بینی» را می‌دادند. این نرم‌افزارها یا برای «نمره‌گذاری خطر» افراد به‌کار می‌رفتند و یا «نقاط داغ» جغرافیایی را برای تمرکز عملیات پلیسی مشخص می‌کردند. همچنین، ابزارهای تشخیص چهره نیز تطبیق تصویر را به‌سرعت انجام می‌دادند.اما در عمل، مجموعه‌ای از پرونده‌های مستند نشان می‌دهد که خروجی این سامانه‌ها نه تنها گاه منجر به بازداشت‌های نادرست شده، بلکه زندگی روزمره، حیثیت و امنیت حقوقی گروه‌های مشخصی از شهروندان را نیز تضعیف کرده است.[توضیح: در زمینه عملیات پلیسی و مدیریت شهری، نقطه داغ یا هات‌اسپات به یک منطقه یا مکان جغرافیایی کوچک (مانند یک خیابان، تقاطع یا بلوک شهری) گفته می‌شود که تمرکز غیرعادی بالایی از فعالیت‌های مجرمانه در آن رخ داده یا انتظار می‌رود رخ دهد.]
الگوریتم‌ها نرخ «مثبت کاذب» بالایی برای متهمان سیاه‌پوست تولید کردند
اولین شکاف‌های جدی عمومی درباره اعتبار و اثرات این فناوری‌ها با انتشار گزارش تحقیقی یک نهاد رسانه‌ای آشکار شد. آن گزارش تحلیلی، پایش و کدهای خود را منتشر کرد و نشان داد ابزاری که برای پیش‌بینی «تجدید جرم» در برخی دادگاه‌ها و سیستم‌های قضایی به‌کار می‌رود، نرخ «مثبت کاذب» معناداری برای متهمان سیاه‌پوست تولید کرده است.یعنی افرادی که سیستم آن‌ها را «پرخطر» تشخیص داده بود، در عمل بازگشت به جرم کمتری از نمونه دیگری نشان دادند که سیستم آن‌ها را کم‌خطر می‌پنداشت. این یافته رسانه‌ای و حقوقی، مباحثی درباره عدالت داده‌محور، شفافیت الگوریتمی و تأثیرات اجتماعی به‌کارگیری این ابزارها را آغاز کرد.[توضیح: نرخ مثبت کاذب (False Positive Rate - FPR)، نسبت مواردی است که سامانه یا آزمون به اشتباه آن‌ها را «مثبت» (حاوی ویژگی یا خطر) تشخیص داده است، در حالی که در واقعیت، آن موارد «منفی» (فاقد ویژگی یا خطر) بوده‌اند.]همزمان با داغ شدن این مناقشه عمومی، مسیر قضایی نیز به موضوع ورود کرد. در پرونده معروف یک ایالت در سال ۲۰۱۶، دیوان عالی آن ایالت با بررسی مسأله استفاده از ارزیابی‌های ریسک در تعیین مجازات اعلام کرد که استفاده از چنین ارزیابی‌هایی «به خودی خود» مغایر حق دادرسی نیست.اما دادگاه صراحتاً بر ضرورت هشدار، محدودیت و شفاف‌سازی در مورد ماهیت «جعبه‌سیاه» این ابزارها تأکید کرد. این رأی ظرفیت قانونی این گونه ابزارها را به‌صورت مشروط پذیرفت، اما همزمان مبانی انتقادی لازم برای بررسی عملی پیامدهای اجرای آن‌ها را نیز فراهم ساخت.
الگوریتم‌ها سوگیری‌های پلیسی گذشته را تکرار می‌کنند
مسئله مرکزی، نسبت میان داده‌ها و عمل پلیسی است: داده‌های ورودی این سیستم‌ها معمولاً محصول عملکرد گذشته نیروهای انتظامی‌اند. هنگامی که الگوریتم‌ها از آن داده‌ها الگو می‌آموزند، گرایش به بازتولید و تشدید همان الگوها وجود دارد. این وضعیت در عمل به تمرکز مکرر پلیس در محله‌هایی منجر می‌شود که قبلاً بیشتر هدف توقف‌ها و تماس‌های پلیسی بوده‌اند.نتیجه آن است که الگوریتم به‌جای پیش‌بینی مستقل، عملاً «پوشش» و مشروعیت تصمیمات اجرایی پیشین را بازآفرینی می‌کند. این بازآفرینی اغلب باعث افزایش تماس‌ها، بازداشت‌ها و فشارهای اداری بر ساکنان همان محله‌ها می‌شود. داده‌های تاریخی و گزارش‌های ممیزی در نقاط مختلف کشور این الگو را تأیید کرده‌اند.
شهروندان در یک فرایند محرمانه هدف قرار گرفتند
شیکاگو یکی از نمونه‌های مهم و مستند است؛ جایی که سامانه‌ای موسوم به «لیست سوژه‌های استراتژیک» یا «لیست داغ» تدوین شد تا افراد «احتمالاً مرتبط با تیراندازی» را شناسایی کند. اسناد و بررسی‌های مستقل نشان می‌دهد سازوکار انتخاب افراد و معیارها شفاف نبوده و لیست در فرایندی محرمانه تولید می‌شده است.افرادی که در این فهرست قرار گرفته‌اند، روایت‌هایی از تماس‌های مکرر پلیس، تضعیف کسب‌وکار و تحمل فشار اجتماعی نقل کرده‌اند؛ روایت‌هایی که در کنار داده‌های شهری، تصویری از فرد یا گروه هدف‌شده فراهم می‌آورند و پرسش‌های بنیادی درباره مشروعیت و پاسخگویی ایجاد می‌کنند.در سطح اجرایی-عملی نیز برنامه‌هایی مانند نرم‌افزارهای محل‌محور مورد انتقاد قرار گرفتند. ممیزی‌ها و بررسی‌های محلی نشان دادند که این ابزارها غالباً الگوهای پلیسی گذشته را بازتولید می‌کنند؛ یعنی هنگامی که داده‌ها نشان‌دهنده تمرکز قبلی پلیس در یک محله باشند، الگوریتم آن محله را بارها و بارها به‌عنوان «پُرخطر» علامت‌گذاری می‌کند و این خود به حضور فیزیکی بیشتر نیروها و افزایش تماس‌ها و بازداشت‌ها می‌انجامد. برخی از این برنامه‌ها پس از فشار رسانه‌ای یا بررسی‌های مستقل متوقف یا بازطراحی شدند، اما پیامدهای اولیه نظارت افزایشی بر جوامع هدف تا مدت‌ها باقی ماند.
مطابقت اشتباه چهره، منجر به دستگیری شد
سامانه تشخیص چهره اما شکایت و تبعات فوری بیشتری به زندگی افراد وارد کرده است. پرونده‌هایی مستند شده‌اند که در آن‌ها یک تطبیق اشتباه از پایگاه‌های تصویری به بازداشت نادرست منتهی شده است. مثال برجسته این دسته، پرونده «رابرت ویلیامز» در دیترویت است؛ مطابقت اشتباه تصویر او با تصویر ضبط‌شده یک فروشگاه سبب شد پلیس او را جلوی خانواده‌اش دستگیر کند و برای ساعت‌ها در بازداشت نگاه دارد.مورد ویلیامز و موارد مشابه دیگر توجه افکار عمومی، مدافعان حقوق مدنی و دادگاه‌ها را به خطرات استفاده بی‌قید و بند از ابزارهای تطبیق تصویر جلب کرد؛ در برخی موارد، دولت‌های محلی در واکنش به این فشارها سیاست‌های استفاده از تشخیص چهره را بازنگری کردند یا محدود کردند.تحقیقات تازه نیز نشان می‌دهد سوءکاربرد تشخیص چهره و اتکا بر «اعلام مطابقت» الگوریتمی همچنان ادامه دارد. بررسی‌ها نشان داد که در شمار قابل توجهی از موارد، بازداشت‌ها بر اساس تطبیق الگوریتمی انجام شده که پس از آن بررسی مستقل کافی صورت نگرفته است. در برخی گزارش‌ها مشخص شده است که تعدادی از پلیس‌ها حتی در مواردی از اعلان نقش فناوری در فرایند بازداشت برای متهمان یا دفاعیات آنان امتناع کرده‌اند.
قربانیان الگوریتم: زیان اقتصادی، خسارت روانی و آسیب حیثیتی
آنچه در پشت گزارش‌ها و آمار رخ می‌دهد، روایت‌های انسانی است: مردان و زنانی که به‌دلیل یک نمره یا تطبیق تصویری بدون شواهد مکمل، با بازداشت، استیضاح اجتماعی یا محدودیت در حرکت و کار مواجه شده‌اند. شماری از این افراد پس از بازداشت نادرست، زیان اقتصادی، خسارت روانی و آسیب حیثیتی را گزارش کرده‌اند؛ روایت‌هایی که در پرونده‌های قضایی، گزارش‌های حقوقی و مصاحبه‌های میدانی ثبت شده‌اند و نشان می‌دهد تبعات این فناوری‌ها از آمار فراتر می‌رود و به کیفیت زندگی روزمره افراد نفوذ می‌کند.بررسی پرونده‌ها نشان می‌دهد که سه عامل تکرارشونده در وقوع بازداشت‌های نادرست یا فشارهای قضایی نقش داشته‌اند:داده‌های تاریخ‌مند: اتکا به داده‌های تاریخی پلیسی که سوگیری‌های گذشته را در خود دارد.فقدان شفافیت: عدم شفافیت و دسترسی به روش‌های فنی ابزارهای تجاری که مانع ممیزی مستقل می‌شود.اعتماد ناسالم عملیاتی: نوعی «اعتماد عملیاتی» که در آن کارکنان اجرایی خروجی سیستم را به‌عنوان دلیلی محکم برای اقدامات فوری تلقی می‌کنند، بی‌آنکه تأییدهای مستقل کافی به‌عمل آید.در بازخوانی اسناد، آرا قضایی و گزارش‌های تحقیقاتی منتشرشده مشخص است که موارد متعددی از بازداشت نادرست، شکایات مدنی و بازنگری‌های سیاست‌گذاری رخ داده است؛ اما این تغییرات اغلب محدود به حوزه‌های قضایی مشخص یا واکنش‌های موردی بوده است. روایت‌های ثبت‌شده حاکی از آن است که هزینه انسانی این فناوری‌ها بیش از آن است که با آمار کلی قابل توصیف باشد و نیازمند ثبت دقیق و دسترسی عمومی به شواهد برای حق دفاع است.
خوانش مجموعه مدارک و روایت‌ها نشان می‌دهد که تجربه مواجهه با «پیش‌بینی جرم» بیش از هر چیز، تصویرگر تنش میان کارایی ادعایی فناوری و لزوم حمایت‌های حقوقی و فرایندی است؛ تنشی که در هر پرونده مستند به شکل ملموسی بر زندگی افراد تأثیر گذاشته است.در میان صفحات رأی‌ها، گزارش‌های ممیزی و مصاحبه‌های میدانی، می‌توان قطعاتی از یک تاریخ تجربی را بازسازی کرد: تاریخ ورود الگوریتم‌ها به میادین نیروی انتظامی، تاریخ خطاها و بازداشت‌های نادرست، و تاریخ اعتراضی که از طریق شکایت‌های حقوقی و افکار عمومی پرسش‌هایی درباره مشروعیت و شفافیت طرح کرده است.#پیش_بینی_جرم#سوگیری_الگوریتم#تشخیص_چهره#بازداشت_نادرست#عدالت_ماشینی
07:08 - 30 آبان 1404
نظرات کاربران
