دانشمندان میزان دقت الگوریتم‌ها در شناسایی متهمان پرخطر و کم‌خطر را آزمایش کردند تا دریابند که عملکرد قضات انسانی چقدر دقیق است.
اطلاعات در خصوص متهمان شامل سوابق دستگیری و جنایتی می‌شد که به تازگی انجام داده بودند. براساس این اطلاعات احتمال نقض شرایط وثیقه هر متهم مشخص می‌شد. در داده‌های واقعی، ۴۰۸ هزار و ۲۸۳ هزار متهم قبل از محاکمه آزاد شدند، هر کدام از این افراد آزاد بودند تا بگریزند یا جنایت دیگری مرتکب شوند، محققان با استفاده از این اطلاعات آینده‌نگرانه می‌توانستند میزان دقیق پیش‌بینی‌های الگوریتم و تصمیم‌های انسانی را آزمایش کنند. ۱۵.۲ درصد از متهمان در دادگاه حاضر نشدند و ۲۵.۸ درصد از آن‌ها به دلیل ارتکاب جرم در حالی که قرار وثیقه داشتند، مجددا دستگیر شدند.
وقتی قاضی یک متهم را پرخطر اعلام کند، از قرار وثیقه محروم می‌شود؛ بنابراین در این پرونده‌ها هیچ فرصتی برای اثبات درستی ارزیابی قضات وجود ندارد، این امر نه‌تن‌ها برای علم تاسف‌آور است بلکه روند کار را نیز پیچیده می‌کند. درواقع به این معناست که دانشمندان نمی‌توانند عددی صحیح و دقیقی به دست بیاورند تا میزان دقت قضات را به صورت کلی نشان دهد. بدون وجود «حقیقت پایه» در مورد نحوه رفتار این متهمان نمی‌توان دقت کلی الگوریتم را اعلام کرد. در عوض باید حدس زد در صورتی که متهمان زندانی آزاد شوند، چه کار می‌کنند، این امر باعث می‌شود مقایسه انسان در برابر ماشین کمی پیچیده‌تر شود.
قاضی‌های انسانی در برابر ماشین عدالت
یافته‌های این مطالعه نشان داد که پیش‌بینی قضات و ماشین تفاوت بسیاری با یکدیگر داشتند. رفتار قضات با بسیاری از متهمانی که الگوریتم به عنوان افراد پرخطر شناسایی کرده بود، به گونه‌ای بود که گویی افرادی کم‌خطر هستند. درواقع قضای به حدود نیمی از متهامی که الگوریتم به عنوان افراد پرخطر شناسایی کرده بود، شرط وثیقه داده بودند. حال سوال اینجاست که حق با کدام گروه بوده است؟ براساس داده‌ها، گروهی که الگوریتم به عنوان افراد پرخطر شناسایی کرده بود، درواقعیت نیز خطرآفرین بودند. بیش از ۵۶ درصد از این افراد در دادگاه محکومیت خود حاضر نشدند و ۶۲.۷ درصد نیز زمانی که با قید وثیقه آزاد بودند، مرتکب جنایت دیگری شدند. این جنایات شامل تجاوز و قتل می‌شود. این در حالی است که الگوریتم تمام این اتفاقات را پیش‌بینی کرده بود.
به گفته گروه تحقیقاتی، تفاوتی ندارد که به چه شکلی از این الگوریتم استفاده شود، عملکرد آن به طور قابل‌توجهی بهتر از قاضی انسانی است. آمار و ارقام نیز صحت این ادعا را تایید می‌کند. این الگوریتم می‌تواند تعداد کمتری از متهمان در صف انتظار محاکمه را یه زندان بفرستد. همچنین با دقت بیشتری متهمانی که می‌توانند آزاد شوند را انتخاب می‌کند، بدین ترتیب نرخ رد وثیقه تا ۲۴.۷ درصد کاهش می‌یابد. مزایای استفاده از این روش در حد تئوری نیستند. دادگاه‌ها در رودآیلند بیش از هشت سال از این الگوریتم استفاده کرده‌اند که منجر به کاهش ۱۷ درصدی جمعیت زندان‌ها و کاهش ۶ درصدی نرخ تکرار جرم شده است. بدین ترتیب صد‌ها متهم بی‌خطر بی‌جهت در زندان گیر نیفتاده‌اند و صد‌ها جنایت دیگر مرتکب نشده‌اند.
الگوریتم‌ها نیز دچار اشتباه می‌شوند
هیچ الگوریتمی نمی‌تواند به طور دقیق و کامل پیش‌بینی کند که یک فرد در آینده چه کاری انجام می‌دهد. انسان‌ها برای پیش‌بینی کردن بیش از اندازه آشفته، غیرمنطقی و عجول هستند و بنابراین نمی‌توان مطمئن بود که چه اتفاقی در آینده برایشان می‌افتد. شاید الگوریتم‌ها پیش‌بینی‌های بهتری ارائه دهند، اما احتمال اشتباه کردن نیز در این میان وجود دارد؛ بنابراین سوال اینجاست که چه اتفاقی برای متهمانی می‌افتد که نرخ خطرناک بودن آن‌ها اشتباه پیش‌بینی شده است؟
الگوریتم می‌تواند مرتکب دو نوع اشتباه شود و ریچارد برک، استاد جرم‌شناسی و آمار در دانشگاه پنسیلوانیا و پیشگام در زمینه پیش‌بینی تکرار جرم روش قابل‌توجهی برای توصیف این دو دارد. وی می‌گوید؛ «آدم‌های بد و خوب وجود دارند. الگوریتم‌ها این سوال را می‌پرسند که چه کسانی افراد خوب و چه کسانی افراد بد هستند. اجازه رهایی به فردی بد، نوعی خطاست که منفی کاذب نام دارد. این امر زمانی اتفاق می‌افتد که قادر به شناسایی خطری نباشید که یک فرد ایجاد می‌کند. از سوی دیگر حبس کردن فرد خوب مثبت کاذب به شمار می‌رود. در این مورد الگوریتم به اشتباه فردی را به عنوان پرخطر شناسایی می‌کند.»
به گفته این استاد دانشگاه «این دو نوع خطا یعنی مثبت کاذب و منفی کاذب منحصر به تکرار جرم نیستند. هر الگوریتمی که با هدف طبقه‌بندی توسعه یابد می‌تواند این اشتباهات را انجام دهد.» برک ادعا می‌کند الگوریتمی که توسعه داده می‌تواند تا ۷۵ درصد دقت پیش‌بینی کند که آیا یک متهم مرتکب قتل می‌شود یا خیر. این روش با ۷۵ درصد دقت، یکی از دقیق‌ترین روش‌های موجود به شمار می‌رود با وجود این میزان دقت نیز بسیاری از آدم‌های خوب قرار وثیقه نمی‌گیرند چراکه ظاهرشان شبیه به آدم‌های بد است.