Welk bedrijf levert de (modellen voor) algoritmes aan de gemeente Rotterdam om bijstandsfraude op te sporen? Die vraag van SP-raadslid Aart van Zevenbergen ligt op het bordje van wethouder Van Gils en is een rechtstreeks gevolg van de recente waarschuwing van Amnesty International dat de wijze waarop in Nederland algoritmes worden ingezet een ‘schending van mensenrechten’ is.

Als voorbeeld noemt Van Zevenbergen de stad Roermond die ‘’blijkbaar als een levend laboratorium gebruikt is om risicomodellen te ontwikkelen. De waarschuwingen van Amnesty Internationaal lijken te zijn gericht aan dovemans oren, omdat in Rotterdam en elders nog steeds op kwalijke wijze gebruik wordt gemaakt van algoritmes.’’

Menselijke vooroordelen kunnen op die manier alsnog in de ’output’ terecht komen en dat is zeer onwenselijk, laat de SP weten.

Wethouder Moti heeft recentelijk aangegeven dat de gebruikte algoritmes voortaan op een andere manier gebruikt gaan worden. In plaats van een ‘black box’, wordt ernaar gestreefd om een ‘glass box’ te bewerkstelligen, ‘’zodat er in theorie meer transparantie kan zijn. Maar toch kleven er nog allerlei risico’s aan het gebruik van algoritmes en andere digitale systemen’’, aldus Van Zevenbergen, die ook wil weten wat het bedrijf, dat de algoritmes aanlevert en beheert, mag doen met de data die verzameld wordt van Rotterdammers?