„Osoby pobierające zasiłek socjalny zarezerwowany dla osób niepełnosprawnych [the Allocation Adulte Handicapé, or AAH] są bezpośrednio celem zmiennej w algorytmie” – mówi Bastien Le Querrec, ekspert prawny w La Quadrature du Net. „Ryzyko osób otrzymujących AAH i pracujących jest zwiększone”.
Grupy twierdzą, że pośrednio dyskryminuje to samotne matki, które statystycznie częściej sprawują wyłączną opiekę, ponieważ plasują się w nim również rodziny z jednym rodzicem wyżej niż rodziny z jednym rodzicem. „Według kryteriów wersji algorytmu z 2014 r. wyższy jest wynik beneficjentów, którzy są rozwiedzeni krócej niż 18 miesięcy” – mówi Le Querrec.
Changer de Cap twierdzi, że po przeprowadzeniu dochodzenia zwróciły się do niego zarówno samotne matki, jak i osoby niepełnosprawne szukające pomocy.
Agencja CNAF, która zajmuje się dystrybucją pomocy finansowej, w tym mieszkaniowej, rentowej i zasiłków na dzieci, nie odpowiedziała natychmiast na prośbę o komentarz ani na pytanie WIRED, czy obecnie używany algorytm uległ znaczącym zmianom od wersji z 2014 roku.
Podobnie jak we Francji organizacje praw człowieka w innych krajach europejskich twierdzą, że poddają członków społeczeństwa o najniższych dochodach intensywnej inwigilacji – często z poważnymi konsekwencjami.
Kiedy dziesiątki tysięcy ludzi w Holandii – wiele z nich pochodzi z tego kraju Ghański społeczności — zostali fałszywie oskarżeni o oszukanie systemu świadczeń na dzieci, nie tylko nakazano im zwrócić pieniądze, które według algorytmu rzekomo ukradli. Wiele z nich twierdzi, że popadły w spiralę zadłużenia i zniszczone ratingi kredytowe.
Problemem nie jest sposób, w jaki zaprojektowano algorytm, ale jego zastosowanie w systemie opieki społecznej – mówi Soizic Pénicaud, wykładowca polityki AI w Sciences Po Paris, który wcześniej pracował dla francuskiego rządu nad przejrzystością algorytmów sektora publicznego. „Korzystanie z algorytmów w kontekście polityki społecznej wiąże się ze znacznie większym ryzykiem niż korzyściami” – mówi. „Nie widziałem żadnego przykładu w Europie ani na świecie, w którym systemy te zostałyby zastosowane z pozytywnym skutkiem.”
Sprawa ma konsekwencje poza Francją. Oczekuje się, że algorytmy opieki społecznej będą wczesnym testem egzekwowania nowych unijnych przepisów dotyczących sztucznej inteligencji, gdy wejdą one w życie w lutym 2025 r. Od tego momentu „punktacja społeczna” – wykorzystanie systemów sztucznej inteligencji do oceny zachowań ludzi, a następnie poddawania niektórych z nich ocenie na szkodliwe leczenie – będzie zakazany po całym bloku.
„Moim zdaniem wiele z tych systemów opieki społecznej, które wykrywają oszustwa, może w praktyce wykorzystywać punktację społeczną” – mówi Matthias Spielkamp, współzałożyciel organizacji non-profit Algorithm Watch. Jednak przedstawiciele sektora publicznego prawdopodobnie nie zgodzą się z tą definicją, a spory dotyczące sposobu definiowania tych systemów prawdopodobnie skończą się w sądzie. „Myślę, że to bardzo trudne pytanie” – mówi Spielkamp.
