Boekbespreking

Bedenkelijke algoritmes

17 april 2019 Thomas Wijsman
In dit artikel:

Mensen hebben persoonlijke opvattingen en belangen, staan op een bepaalde plek in het politieke spectrum, en zijn notoir slecht in het inschatten van statistische kansen. Computers zijn niet met deze kwalen behept: die doen gewoon wat je ze vertelt te doen. Objectief en exact. Toch? Is het dan niet te verkiezen om bij beslissingsproblemen die gevoelig zijn voor vooroordelen en andere vormen van subjectieve inkleuring, de besluitvorming toe te vertrouwen aan computers in plaats van aan mensen? Met andere woorden: laat de computer beslissen wie van de kandidaten een bedrijf in dienst neemt, wie – onder welke voorwaarden – een lening krijgt, welke personen de politie in de gaten moet houden, welke zedendelinquenten tbs moeten krijgen, et cetera. Er is inmiddels een schat aan gegevens beschikbaar die een stevige basis vormt voor die geautomatiseerde besluitvorming. Via ‘slimme’ algoritmes zal de computer op basis van die informatie blind en accuraat de beste beslissing nemen … of zit het misschien toch anders?

Titel  Weapons of Math Destruction; How Big Data Increases Inequality and Threatens Democracy

Auteur  Cathy O’Neil

ISBN  978-0-141-98541-1

Cathy O’Neil maakt in haar boek ‘Weapons of math destruction’ korte metten met deze verleidelijke mythe. Goed gedocumenteerd schetst ze het doembeeld van een samenleving die juist door een heilig vertrouwen in algoritmes bestaande maatschappelijke onrechtvaardigheden in stand houdt en nieuwe creëert. In feite is haar boek één grote catalogus van zaken die allemaal mis kunnen gaan. Ze beschrijft tal van ontspoorde algoritmes op uiteenlopende terreinen zoals onderwijs, rechtspraak, werk en het politieke stemproces.

Bijvoorbeeld: een private instelling voor beroepsonderwijs gaf haar studentenwervers de instructie zich te richten op onder meer alleenstaande moeders met een sociale uitkering, onlangs gescheiden zwangere vrouwen, ouders met een lage zelfwaardering, ouders met een laag inkomen en ouders met pas een sterfgeval achter de rug. Extra kwetsbare mensen dus, die meer dan gemiddeld een gemakkelijke prooi vormen voor verkopers met gladde praatjes. De slachtoffers van dit soort praktijken laten zich met algoritmes gemakkelijk uitfilteren, vaak op basis van ijverig door henzelf, via sociaal media, gedeelde informatie. De werving onder deze groepen kansarmen lijkt op het eerste gezicht commercieel onlogisch, gelet op het weinige geld dat ze te besteden hebben. Maar de private onderwijsinstellingen in de VS hebben de naam van hoge kwaliteit te zijn, wat overigens niet per definitie zo is. O’Neil zegt het niet met zoveel woorden, maar de mensen in deze doelgroepen zijn kennelijk vertwijfeld genoeg om bereid te zijn zich diep in de schulden te steken voor een gedroomde goede toekomst van hun kinderen.

De voorbeelden in het boek gaan niet allemaal letterlijk over algoritmen, soms beschrijven ze meer een bepaalde manier van denken. Ook zijn de geschetste maatschappelijke effecten in bepaalde voorbeelden meer hypothetisch dan feitelijk onderbouwd. Maar alles bij elkaar geeft het boek met zijn vele voorbeelden een duidelijk beeld hoe maatschappelijk risicovol een algoritmiserende samenleving is. Dat de schrijfster alleen Amerikaanse voorbeelden geeft, doet hier niets aan af.

Hoe in goede banen te leiden?

Niet alle algoritmen zijn ’weapons of math destruction’. O’Neil noemt drie kenmerken die het verschil maken tussen een ongevaarlijk algoritme en een algoritmisch wapen. Die kenmerken zijn ondoorzichtigheid, schaalgrootte en veroorzaakte schade. Om ellende te voorkomen, is serieuze aandacht nodig voor de algoritmen die hoog scoren op deze drie criteria.  Dit zijn de potentiële ‘weapons of mass destruction’. In haar slothoofdstuk schetst O’Neil wat er zou moeten gebeuren om het gebruik van algoritmen in goede banen te leiden.

Om te beginnen roept ze de algoritmebouwers op tot meer zelfkritiek. Die moeten het succes van algoritmen niet alleen afmeten aan criteria als financiële winst en efficiëntie, maar ook kijken naar de maatschappelijke gevolgen. Verder is het nodig om algoritmen te auditen. En, last but not least: een algoritmiserende samenleving moet in goede banen worden geleid via regulering door de wetgever.

Geen categorie
Thomas Wijsman

Drs. Th. (Thomas) Wijsman RE | coach en strategisch adviseur

Gepokt en gemazeld bij de Algemene Rekenkamer is Thomas Wijsman nu actief als coach en strategisch adviseur. Hij is opgeleid in IT, IT-audit, psychologie en coaching, en combineert zo hard en soft skills. Onlangs adviseerde hij de Georgische Rekenkamer over IT-auditaanpak en inrichting van de IT-auditfunctie. Daarnaast is hij actief in verschillende commissies van Norea.