← AI met Impact show cases

Eerlijke algoritmen

Gemeente Amstedam, CBS, Universiteit van Amsterdam (Nederland, Amsterdam)

In dit prototype wordt gepoogd ongewenste discriminatie in algoritmen op te kunnen sporen en tegen te gaan. Als casus wordt gebruikgemaakt van de algoritmen van de gemeente Amsterdam om bijstandsfraude op te sporen.

Meer en meer overheden passen algoritmen toe om bijvoorbeeld hun dienstverlening aan burgers of hun bedrijfsvoering te verbeteren, maar steeds vaker komen deze algoritmen in opspraak wegens aantijgingen van discriminatie. Oftewel, er bestaat een risico dat zich daarbij ongewenste preferenties manifesteren. Dat risico bestaat vooral de meer geavanceerde algoritmen gebaseerd op AI (bijvoorbeeld via machine learning technieken). Er bestaat op dit moment nog geen praktisch toepasbare controles of infrastructuur om dergelijke vormen van ongewilde discriminatie in dealgoritmen te detecteren en adequaat tegen te gaan. De gemeente Amsterdam heeft stelling genomen door alleen nog eerlijke algoritmen binnen de stadsgrenzen toe te willen laten (Financieel Dagblad, “Amsterdam wil eerlijke algoritmes”). De voorgestelde oplossing gebruikt nieuwe wetenschappelijke technieken die causale verbanden exploiteren om het risico op discriminatie tegen te gaan. Het betreft een baanbrekende, experimentele en innovatieve aanpak met veel potentie, die mogelijk breed kan worden ingezet. De methoden moeten echter nog wel grondig worden onderzocht voordat ze regulier in productie kunnen worden genomen.