Een rol voor de IT-auditor

Algoritmes en toezicht op mensenrechten

25 juli 2018 Jeroen Slobbe
PDF
In dit artikel:

Al langer liep ik rond met het idee om een discussie te starten, in de overtuiging dat zich een braak liggend terrein begint af te tekenen dat erop wacht te worden betreden door IT-Auditors. De column van Thea Gerritse eerder dit jaar [GERR18] was voor mij een welkome aansporing om deze gedachte op papier te zetten en in breder verband in discussie te brengen. Thea vraagt zich in haar column af hoe het vakgebied van de IT-auditor zich verder kan ontwikkelen. Ze betoogt dat IT-auditing terrein aan andere specialisten op het gebied van IT verliest. Maar juist in deze tijd van snelle ICT-ontwikkelingen zie ik een kans ontstaan voor de IT-auditor. De complexe artificiële intelligentie en machine-learning algoritmes raken steeds meer ingeburgerd in onze samenleving, zo ook de roep om zekerheid over de eerlijkheid van deze besluitvorming. En juist daar kan de IT-auditor met zijn onafhankelijke blik veel waarde toe gaan voegen voor de maatschappij.

De plaats die algoritmes in onze samenleving innemen wordt snel prominenter. Steeds vaker ondersteunen ze besluitvorming en maken ze keuzes die gevolgen hebben voor burgers. Waar we als samenleving de komende jaren goed op moeten gaan letten, is dat we deze besluitvorming langs dezelfde lat leggen als we bij menselijke besluitvorming doen. In een rechtstaat zoals de onze, moet ook geautomatiseerde besluitvorming aantoonbaar de mensenrechten respecteren. Met andere woorden: ook algoritmes (al dan niet zelflerend) dienen zich aan de wet te houden. Hier ligt een mooie, uitdagende taak voor ons IT-auditors.

Algoritmes en mensenrechten

Een cruciaal principe binnen onze strafrechtspraak is dat het strafproces transparant is voor zowel verdachte als samenleving. Je kunt bijvoorbeeld niet veroordeeld worden op basis van geheime informatie die wordt achtergehouden voor jou of je advocaat. Dit principe begint echter scheuren te vertonen – misschien (nog) niet in Nederland, maar al wel in Amerika. Zo oordeelde een rechtbank daar dat de vaststelling door software dat de vingerafdruk van een verdachte overeenkomt met die van een vingerafdruk op het plaats delict als feit mag worden meegenomen, zonder dat de (advocaat van de) verdachte het algoritme mag inzien. [PISH17]

Naast transparantie van de rechtsspraak staat er nog meer op het spel. Zo zien we als gevolg van blind vertrouwen op algoritmes onterechte huiszoekingen [MAY15], gevangenen die te vroeg worden vrijgelaten [ALEX15] en onderscheid naar huidskleur [RAMA17] of geslacht [LEVY15] door bedrijven of de overheid. En dit zijn nog maar enkele voorbeelden van gevallen waarin zowel publieke als private spelers het mensenrechtenboekje te buiten gaan.

De slachtoffers blijven met een Kafkaësk gevoel achter, verliezen het vertrouwen in instituties en de samenleving of beëindigen uit pure wanhoop hun leven, zoals bijvoorbeeld in de zaak Dolmatov. [JENS13]

Opzet, menselijk handelen of onkunde?

Sommige fouten in software zijn bewust aangebracht. Zie bijvoorbeeld de ‘sjoemelsoftware’ van Duitse fabrikanten van dieselauto’s, bewust bedoeld om de officiële emissietests om de tuin te leiden. [BECK15] En recent hebben onderzoekers aangetoond dat het in principe mogelijk is dat een kwaadaardige hacker een aanval doet op trainingsdata om zo de werking van een algoritme naar zijn hand te zetten. [JAGI18] Terwijl het dus denkbaar is dat een ontwikkelaar met opzet discriminatie inbouwt in een algoritme, zal discriminatie in de praktijk eerder voortkomen uit onbewuste of ondoordachte keuzes van de ontwikkelaar. Het kan bijvoorbeeld zijn dat de trainings-dataset die wordt gebruikt om het algoritme te laten leren, een bias bevat ten nadele van leden van een bepaalde sekse, sociale klasse of etnische achtergrond. [NOOR17] De consequentie is dan dat het algoritme leert te discrimineren. [NEIL16, SWEE13, WEIJ18]

Een mooie taak voor ons IT-auditors

Het debat rondom deze thematiek begint serieuze vormen aan te nemen. Allerlei belangen spelen in dit debat een rol en vanuit verschillende perspectieven worden oplossingsrichtingen aangedragen. Je kunt bijvoorbeeld wetgeving introduceren om algoritmes radicaal transparant te maken, waardoor eenieder altijd controle kan uitoefenen op de besluitvorming. Of je zou het toezicht op mensenrechtelijke aspecten van algoritmes expliciet kunnen beleggen bij een autoriteit. Je zou ook een pad in kunnen slaan waarin een consumentenraad namens alle consumenten algoritmes mag inzien om eventueel naar de buitenwereld aan te geven dat een bepaald algoritme zich aan onze maatschappelijke normen en waarden houdt. In alle gevallen is het noodzakelijk dat iemand algoritmes, data en processen kan beoordelen, een onderdeel van ons vakgebied bij uitstek. Kortom voor ons, IT-auditors, ligt een nieuw terrein braak om te betreden. Laten we snel dit voor de meesten van ons nog onbekende terrein verkennen. Hoe mooi zou het niet zijn als wij vanuit onze expertise dé onafhankelijke partij worden die voor het maatschappelijk verkeer kan verklaren dat een IT oplossing of softwareproduct zo is gebouwd dat die de mensenrechten respecteert!

Tot slot

Voordat we aan de slag kunnen met het toetsen van mensenrechten in algoritmes hebben we nog veel werk te verzetten. Zo zullen we ons verder technisch moeten bekwamen om ons de expertise eigen te maken die nodig is om toezicht te kunnen houden op geavanceerde algoritmes. Ook moeten we normen en tools ontwikkelen om adequaat toezicht op deze complexe vraagstukken te kunnen houden. We zullen het maatschappelijke belang van het onderwerp breed moeten uitdragen, zodat vanuit de maatschappij een luide roep om zekerheden en toezicht zal gaan klinken. Maar hebben we eenmaal dit voorwerk gedaan, dan ben ik ervan overtuigd dat wij als IT-auditors op dit nieuwe, maatschappelijk relevante terrein kunnen schitteren.

 

Reageren? Met dit artikel wil ik een discussie op gang brengen. Ik ben dan ook zeer geïnteresseerd in de mening van mijn collega’s. Reacties graag via Twitter: @JeroenSlobbe

Literatuur

[ALEX15] Harriet Alexander, Computer glitch frees 3,200 prisoners early in Washington state, 23-12-2015, url: http://www.telegraph.co.uk/news/worldnews/northamerica/usa/12066823/Computer-glitch-frees-3200-prisoners-early-in-Washington-state.html, geraadpleegd op: 25-04-2018.

[BECK15] Von J. Becker, T. Fromm, T. Hapke und K. Ott, VW hat offenbar auch in Europa manipuliert, 07-10-2015, url: http://www.sueddeutsche.de/auto/vw-abgas-skandal-schummeln-nach-mass-1.2681648, geraadpleegd op: 26-04-2018.

[GERR8] Thea Gerritse, Gezocht: de Immanuel Kant van de IT-auditing, 30-01-2018, URL: https://www.deitauditor.nl/business-en-it/gezocht-de-immanuel-kant-van-de-it-auditing/.

[JAGI18] Matthew Jagielski, Alina Oprea, Battista Biggio, Chang Liu, Cristina Nita-Rotaru, Bo Li, Manipulating Machine Learning: Poisoning Attacks and Countermeasures for Regression Learning, url: https://arxiv.org/abs/1804.00308, 01-04-2018.

[JENS13] Folkert Jensma, Computer says no en Dolmatov hangt zich op, 04-05-2013, url: http://www.nrc.nl/nieuws/2013/05/04/en-dolmatov-hangt-zich-op.

[LEVY15] Andrew Levy, Female paediatrician locked out of Pure Gym changing room – because computer assumed everyone with ‘Dr’ title was a man,18-03-2015, URL: http://www.dailymail.co.uk/news/article-3000705/Female-paediatrician-locked-gym-changing-room-computer-assumed-Doctor-title-MAN.html, geraadpleegd op: 25-04-2018.

[MAY15] Anthony May, Half-yearly report of the Interception of Communications Commissioner, 07-2015, URL: www.iocco-uk.info/docs/2015 Half-yearly report (web version).pdf (p23).

[NEIL16] Cathy O’Neil, Talk: Weapons of Math Destruction, 2-11-2016, Talks at Google, url: https://www.youtube.com/watch?v=TQHs8SA1qpk.

[NOOR17] Wouter van Noort, De computer is racistisch, 19-09-2017, NRC, url: https://www.nrc.nl/nieuws/2017/09/19/de-computer-is-racistisch-13070987-a1573906.

[PISH17] Jessica Pishko, The Impenetrable Program Transforming How Courts Treat DNA Evidence, 29-11-2017, url: https://www.wired.com/story/trueallele-software-transforming-how-courts-treat-dna-evidence/, geraadpleegd op: 25-04-2018.

[RAMA17] Chitra Ramaswamy, Prejudices play out in the ratings we give – the myth of digital equality, 20-02-2017, url: https://www.theguardian.com/technology/2017/feb/20/airbnb-uber-sharing-apps-digital-equality, geraadpleegd op: 25-04-2018.

[SWEE13] Latanya Sweeney, Discrimination in online ad delivery, 28-01-2013, Harvard University, url: https://dataprivacylab.org/projects/onlineads/1071-1.pdf.

[WEIJ18] Bard van de Wijer, Wiskundige Cathy O’Neil waarschuwt voor algoritmen: ‘Rechten van individu worden niet beschermd, 18-06-2018, Volkskrant, url: https://www.volkskrant.nl/wetenschap/wiskundige-cathy-o-neil-waarschuwt-voor-algoritmen-rechten-van-individu-worden-niet-beschermd-~b97a9302/.

Ir. J (Jeroen) Slobbe | Cyber security professional bij Deloitte

Jeroen Slobbe heeft de opleiding IT Audit, Compliance & Advisory aan de Vrije Universiteit Amsterdam gevolgd. Hij heeft een actieve interesse in politieke thema’s en vindt het leuk om discussies op het snijvlak van de maatschappij en IT te initiëren.