DOSYA – Senatör Ron Wyden, D-Ore., Washington’daki Capitol Hill’de 19 Ekim 2021’de Senato Finans Komitesi duruşması esnasında konuşuyor. Oregon’daki çocuk refahı yetkilileri, toplumsal hizmet uzmanları tarafınca hangi ailelerin araştırılacağına karar vermeye destek olacak bir algoritma kullanmayı bırakacak ve bunun yerine, yetkililerin ırksal olarak daha adil kararlar vereceğini söylediği tamamen yeni bir süreci tercih edecek. Wyden, uzun süredir eyaletinin çocuk esirgeme sistemi tarafınca kullanılan algoritmalardan kaygı duyduğunu ve çocuk koruma hizmetlerinde suni zeka araçlarının artan kullanımıyla ilgili yaygın bir kaygı olan ırksal önyargı hakkında sorular sormak için bir AP hikayesinin arkasından bakanlığa yeniden ulaştığını söylemiş oldu. . (AP vasıtasıyla Mandel Ngan/Havuz Fotoğrafı, Dosya)
AP
Oregon’daki çocuk refahı yetkilileri, toplumsal hizmet uzmanları tarafınca hangi ailelerin araştırılacağına karar vermeye destek olacak bir algoritma kullanmayı bırakacak ve bunun yerine yetkililerin daha iyi ve ırksal olarak daha adil kararlar vereceğini söylediği yeni bir süreci tercih edecek.
Hareket, Associated Press’in Pennsylvania’daki ayrı bir algoritmik aracın incelemesinden haftalar sonrasında, Oregon yetkililerine kendi modellerini geliştirmeleri için esin vermiş ve orantısız sayıda Siyah evladı “mecburi” dikkatsizlik soruşturmaları için işaretlediği tespit edilmişti. yer.
Oregon İnsan Hizmetleri Departmanı, geçen ay personele e-posta kanalıyla, “kapsamlı çözümleme”den sonrasında, ajansın yardım hattı çalışanlarının, çocuk koruma hizmetleri tarafınca çocuk istismarı ve dikkatsizliği sebebiyle ailelerin soruşturulduğu eşitsizlikleri azaltmak için algoritmayı Haziran sonunda kullanmayı bırakacağını duyurdu.
Ajansın müdür yardımcısı Lacey Andresen, 19 Mayıs’ta gönderilmiş olduğu e-postada, “Devamlı kalite iyileştirme ve eşitliğe bağlıyız” dedi.
Bir departman sözcüsü Jake Sunderland, eyaletin yeni tarama süreciyle kullanılamayacağı için mevcut algoritmanın “artık lüzumlu olamayacağını” söylemiş oldu. Oregon’un niçin algoritmayı değiştirmeye karar verdiğine dair daha çok detay vermeyi reddetti ve siyaset değişikliğini etkileyen ilgili herhangi bir eşitsizlik üstünde detay vermedi.
——-
Pulitzer Kriz Raporlama Merkezi tarafınca desteklenen bu öykü, algoritmalar tarafınca yönlendirilen kararların insanların günlük yaşamları üstündeki enerjisini ve neticelerini araştıran Associated Press’in devam eden “İzlenen” dizisinin bir parçasıdır.
——-
Yardım hattı çalışanlarının çocuk istismarı ve dikkatsizliği raporlarıyla ilgili kararları, toplumsal hizmet uzmanlarının ailelerin devlet müdahalesiyle karşı karşıya kalması gerekip gerekmediğine ilk kez karar verilmiş olduğu soruşturma sürecinde eleştiri bir anı işaret ediyor. Riskler yüksek – bir iddiaya katılmamak bir çocuğun ölmesiyle sonuçlanabilir, sadece bir ailenin yaşamını incelemek onları ayrılığa götürebilir.
California’dan Colorado ve Pennsylvania’ya kadar, çocuk refahı kurumları algoritmaları kullandıkça yada uygulamayı düşündükçe, bir AP incelemesi, çocuk refahı sistemindeki önyargıları sertleştirme potansiyelleri de dahil olmak suretiyle, değişen teknolojinin kullanımındaki şeffaflık, güvenilirlik ve ırksal eşitsizliklerle ilgili endişeleri belirledi.
Bir Oregon Demokratı olan ABD’li Senatör Ron Wyden, eyaletinin çocuk esirgeme sistemi tarafınca kullanılan algoritmalar hakkında uzun süredir kaygı duyduğunu söylemiş oldu ve AP’nin haberini takiben, artan ırkçılıkla ilgili yaygın bir kaygı olan ırksal önyargı hakkında sorular sormak için yeniden bakanlığa ulaştı. çocuk koruma hizmetlerinde suni zeka araçlarının kullanımı.
Wyden yapmış olduğu açıklamada, “Küçüklere ve ailelere ne olması gerektiğine dair kararlar vermek, kontrol edilmemiş algoritmalar veremeyecek kadar mühim bir görevdir” dedi. “Oregon İnsan Hizmetleri Departmanı’nın ırksal önyargı hakkında dile getirdiğim endişeleri ciddiye almasına ve tarama aracının kullanımını durdurmasına sevindim.”
Sunderland, Oregon çocuk esirgeme görevlilerinin geçen ay duyuruyu yapmadan ilkin uzun süredir soruşturma sürecini değiştirmeyi düşündüklerini söylemiş oldu.
Devletin son zamanlarda algoritmanın tamamen ülke çapındaki öteki birçok çocuk refahı yargı alanıyla uyumlu olan Yapılandırılmış Karar Verme modeli adında olan yeni programıyla değiştirileceğine karar verdiğini de sözlerine ekledi.
Oregon’un Taramada Güvenlik Aracı, adını Pittsburgh’u çevreleyen ilçeden alan etkili Allegheny Aile Tarama Aracı’ndan esinlenmiştir ve evlatların koruyucu ailede kalma yada gelecekte araştırılma riskini tahmin etmeyi amaçlamaktadır. İlk olarak 2018’de uygulandı. Toplumsal hizmet uzmanları, değişik bir toplumsal hizmet uzmanının aileyi araştırmasının gerekip gerekmediğine karar verirken, algoritmanın oluşturduğu sayısal risk puanlarını (sayı ne kadar yüksekse risk o denli büyük) inceler.
Sadece Oregon yetkilileri, bir ailenin riskini hesaplarken yalnızca dahili çocuk refahı verilerinden yararlanmak için orijinal algoritmalarını değiştirdiler ve tasarımında kasıtlı olarak bir “hakkaniyet düzeltmesi” ile ırksal önyargıyı ele almaya çalıştılar.
Carnegie Mellon Üniversitesi araştırmacılarının, Allegheny County’nin algoritmasının başlangıçta “mecburi” çocuk dikkatsizliği soruşturmaları için orantısız sayıda Siyah aileyi işaretlediği yönündeki bulgularına cevap olarak, ilçe yetkilileri araştırmayı “varsayımsal” olarak nitelendirdi ve toplumsal hizmet uzmanlarının daima aracı geçersiz kılabileceğini kaydetti. asla tek başına kullanılması amaçlanmamıştır.
Wyden, yazılımların, algoritmaların ve öteki otomatik sistemlerin şeffaflığını ve ulusal nezaretini sağlamayı amaçlayan bir yasa tasarısının baş sponsorudur.
Wyden, “Evlatların ve ailelerin geçim kaynakları ve güvenliği tehlikedeyken, devlet tarafınca kullanılan teknoloji adil olmalı – ve ben izlemeye devam edeceğim” dedi.
Oregon’un geliştirdiği ikinci vasıta (koruyucu evlatların aileleriyle ne vakit tekrardan birleştirilebileceğine karar vermeye destek olacak bir algoritma) araştırmacılar model üstünde tekrardan çalıştıkça ara vermeye devam ediyor. Sunderland, pilotun yetersiz veri sebebiyle aylar ilkin duraklatıldığını, sadece “yakında durdurulacağına dair bir beklenti olmadığını” söylemiş oldu.
Son yıllarda, vali tarafınca emredilen bir kriz nezaret kurulu tarafınca araştırma altındayken, devlet kurumu – şu anda altı yıl içinde sekizinci yeni çocuk refahı müdürünü işe almaya hazırlanıyor – bir çocuğun riskini değerlendirmeye çalışan tahmine dayalı modeller de dahil olmak suretiyle üç ek algoritmayı değerlendirdi. ölüm ve ağır yaralanma, evlatların koruyucu aileye verilmesi gerekip gerekmediği ve eğer öyleyse, nerede. Sadece Sunderland, çocuk refahı departmanının bu araçları hiçbir vakit yapmadığını söylemiş oldu.
___
Sally Ho ve Garance Burke’ü Twitter’da @_sallyho ve @garanceburke’de takip edin.
___
AP’nin küresel araştırma ekibiyle [email protected] yada https://www.ap.org/tips/ adresinden iletişime geçin.
Comments are closed.