Agile beter auditen met data-analyse

(Publicatiedatum: 18 juli 2022)

Ben jij een IT-auditor? En vind je systeemontwikkelingsprocessen ook lastig te beoordelen door het gebruik van agile en devops-werkwijzen? Dan ben je niet alleen. De IT-auditaanpak ontstond in het oer-Cobol/Mainframe-tijdperk. Omdat de IT-wereld continu verandert, word jij als auditor voortdurend uitgedaagd om de auditaanpak van systeemontwikkeling daarop aan te passen. In de huidige tijd past een overweging om meer gebruik te maken van data-analyse voor de beoordeling van het systeemontwikkelproces. Dit kan door data te gebruiken die vaak toch al aanwezig is in het systeemontwikkeltraject. 

Ik vroeg me af of data-analyse misschien de ‘silver bullet’ voor de audit van agile systeemontwikkeling is. In dit artikel vind je mijn reflecties op deze vraag.

Gecontroleerd, stap voor stap met nieuwe software door de ontwikkel-, test-, acceptatie- en exploitatietest-omgeving naar de productie-omgeving zoals bij de watervalmethode, is niet meer de standaard. Softwareontwikkelteams die agile en devops-werkwijzen hanteren, kunnen meer zelfstandig bepalen of nieuwe software live kan. Idealiter ondersteund door een volledig geautomatiseerde ontwikkel- en implementatiestraat, met gestandaardiseerde tests om snel nieuwe releases in productie te kunnen nemen. Daar komt bij dat agile systeemontwikkelingsprocessen informeler zijn. Het verdwijnen van de audittrail van wijzigingen, vastgelegd in ontwerpdocumentatie, maakt systeemontwikkeling minder auditable op de traditionele wijze. De risico’s blijven ongeveer hetzelfde, maar het is zo lastiger om vast te stellen of nieuw opgeleverde software de gewenste (controle)functionaliteit bevat. Project- en procesaudits in een agile systeemontwikkelomgeving zijn hierdoor minder makkelijk uitvoerbaar. 

De aanleiding voor dit artikel is onderzoek naar agile, audit en data-analyse dat ik deed voor de MBA-opleiding Digitalization and Boardroom Dynamics bij de Business University Nyenrode. Bij mijn onderzoek stond de volgende vraag centraal: ‘Hoe kan data-analyse auditors helpen bij de audit van agile systeemontwikkeling?’ 

Dit artikel behandelt achtereenvolgens:

1. Waarom data-analyse relevant is voor de audit van agile systeemontwikkeling.
2. Drie belangrijke inzichten die jou kunnen helpen je data-analyse te verbeteren.
3. Drie data-analyse praktijkcases (‘productiviteit’, ‘strategie’ en ‘risicomanagement’).

De conclusie vat samen welke aspecten relevant zijn wanneer je jouw aanpak voor data-analyse gericht op agile systeemontwikkeling wilt verbeteren.

Meer data-analyse maakt je klant enthousiast

Bij softwareontwikkeling wordt veel gebruikgemaakt van data en data-analysehulpmiddelen. Dit onder meer voor het plannen van teams, testen van nieuwe software, meten van softwarekwaliteit en leveringstijd (time to market). Figuur 1 geeft een nuttig overzicht van mogelijke databronnen die een auditor kan gebruiken, zoals: Jira, Microsoft Dynamics, Azure DevOps, Github en meer.

Figuur 1: Mogelijke databronnen voor data-analyse die auditors kunnen gebruiken (Biesialska & Muntes-Mulero, 2020).

Door beschikbare data te analyseren, kun jij als auditor met relatief weinig inspanning en kosten de systeemontwikkeling van de hele organisatie beoordelen. Zo kun je meer zekerheid over de betrouwbaarheid van systeemontwikkeling geven, naast de audits van individuele projecten, teams of processen. 

Toen ik het onderwerp ‘meer controle op agile systeemontwikkeling, maar wel met data-analyse’ met programmeurs en leidinggevenden van systeemontwikkelafdelingen besprak, werden ze enthousiast. Systeemontwikkelaars vinden soms dat auditors hun werk ‘verstoren’ met interviews, vragen om documenten en schermprints, en het bespreken van concept bevindingen en rapporten. Vooral wanneer op een meer informele agile of devops manier gewerkt wordt. Dat je met data-analyse het inzicht van systeemontwikkelaars en auditors kan vergroten terwijl de ‘overlast’ van audits vermindert, wordt gezien als een potentieel en aantrekkelijk voordeel.

Auditors herkennen de mogelijkheden van data-analyse ook. Helaas is er geen standaardaanpak voor data-analyse van systeemontwikkeling beschikbaar, dus moeten we zelf op zoek naar oplossingen. Laten we samen eens gaan kijken hoe dat zou kunnen.

Vergeet de data, hulpmiddelen en technologie … het gaat om mensen

Uit mijn onderzoek naar de vraag hoe data-analyse auditors kan helpen bij de audit van agile systeemontwikkeling blijkt dat auditafdelingen vooral druk zijn met het uitvoeren van audits. Volgens auditors is er daardoor in de praktijk weinig aandacht voor nieuwe mogelijkheden voor data-analyse gericht op systeemontwikkeling. 

Hoe kun je hiermee omgaan? Een goede eerste stap is om de huidige situatie rond data-analyse in het audit team te analyseren met hulp van het DELTA-model van Davenport en Harris (2017). Dit kan helpen om vlot inzicht te krijgen hoe data-analyse in jouw (audit)organisatie beter kan. Het model beschrijft volwassenheidniveaus en stappen om naar een volgend niveau van data-analyse te gaan (zie figuur 2). 

Tijdens mijn onderzoek heb ik gesproken met auditors, data-analisten en overige bedrijfsmedewerkers van een aantal grote corporate bedrijven. De interviewuitkomsten zijn geplot op het DELTA-model. In rood is de actuele situatie voor data-analyse gericht op agile systeemontwikkeling op het model geplot. In groen de gewenste situatie volgens geïnterviewden.

De drie belangrijkste aanbevelingen die hieruit volgen zijn: 

1. Ga als auditor nauwer samenwerken met bedrijfsafdelingen (Business, IT, Risk en anderen) om op een handiger en effectievere manier gebruik te maken van data-analyse. 
2. Richt data-analyse op senior (IT-)managementbehoeften: wat houdt hen bezig?
3. Aandacht van het management van Audit is essentieel om het data-analyse ‘vuurtje warm te houden’, vooral voor het bepalen van prioriteiten en vaststellen dat doelen gehaald worden.

Figuur 2: Het DELTA model (Davenport & Harris, 2017)

Drie voorbeeldcases

Er volgen nu een drietal voorbeeldcases, waarin deze aspecten in de praktijk zijn toegepast.

Voorbeeldcase 1: Productiviteit

Stel, je wilt je als auditor een mening vormen over de productiviteit van systeemontwikkelteams. Dan kun je een maandenlange audit opstarten gericht op processen en de organisatie van productiviteitsmeting. Maar beter is het om direct naar de data gerelateerd aan systeemontwikkeling te kijken. In tabel 1 vind je een overzicht van mogelijke databronnen die de auditor kan gebruiken. 

Als je de ontwikkelafdeling bijvoorbeeld JIRA als workflow managementtool gebruikt, kun je vragen naar data over de opgeleverde hoeveelheden software per team. Je kunt de resultaten uit JIRA vervolgens aanvullen met data over bedrijfs-KPI’s, testresultaten, aantallen changes of, creatiever, zelfs zover gaan dat je text mining doet op notulen van voortgangsoverleggen. Bij cliëntgerichte applicaties kun je feedback van gebruikers (de ‘vijf sterren’) analyseren om bijvoorbeeld gebruiksvriendelijkheid of beschikbaarheid van systemen te beoordelen, net zoals bij beoordelingssites voor restaurants of hotels. De uitkomsten geven je meer inzicht of ontwikkelteams voldoende, relevante en goed functionerende nieuwe software maken. Ook kun je besluiten om ontwikkelteams extra aandacht te geven wanneer bepaalde grenzen worden overschreden. 

Het voordeel van data-analyse is dat het sneller resultaten geeft dan een audit en makkelijk te herhalen is. Je bent zo sneller met het management in gesprek over je auditobservaties. En samen naar data kijken, nodigt meer uit tot samenwerking met IT dan het uitbrengen van een ‘streng en afstandelijk’ auditrapport. Na deze analyse van de portfolio van applicaties kunnen ook gerichter vervolgaudits opgestart worden gericht op specifieke teams of kwaliteitsaspecten. 

Omdat in dit artikel geen bedrijfsgegevens gedeeld kunnen worden, krijg je hieronder een publiek beschikbaar voorbeeld dat bruikbaar is als ijsbreker in gesprekken met IT over data-analyse. Figuur 3 geeft trends weer voor productiviteit van ontwikkelteams en kwaliteit van software tijdens het covid-jaar 2021. Je kunt IT-collega’s uitleggen dat er bedrijven zijn die dit soort data gebruiken en vragen: ‘Kunnen wij dit ook inzichtelijk maken?’. Hieruit kunnen goede dialogen ontstaan over (on)mogelijkheden van data-analyse.

Figuur 3: Wereldwijde trends voor productiviteit en kwaliteit voor softwareontwikkeling tijdens Covid19 (BlueOptima Global Benchmark Report: Quarter 3, 2021).

Voorbeeldcase 2: Strategie

Stel dat het senior management van jouw bedrijf als strategie nastreeft om de IT-organisatie eenvoudiger te maken. Je kunt dan als IT-auditor plannen van aanpak en architectuurdocumenten gaan lezen om te zien hoe het ervoor staat. Maar overweeg ook eens om met data-analyse te kijken of het aantal producten, applicaties, operating systems, databases, et cetera daadwerkelijk afneemt. Start dan met de vraag of het bedrijf dit zelf meet. Als dit niet het geval is, kun je zelf beschikbare data over aantallen applicaties en andere IT-componenten verzamelen en met bijvoorbeeld Excel vertalen in grafieken, zoals in figuur 4. Deze figuur bevat een voorbeeld van een eenvoudige grafiek die gebruikt kan worden in gesprekken tussen de auditor en de IT-organisatie over realisatie van een IT-strategie om het IT-landschap te vereenvoudigen. Je kunt hieruit aflezen dat het aantal donkerblauwe componenten (aantal applicaties van business line A) afneemt maar de lichtblauwe aantallen niet (aantal applicaties van business line B). De cijfers kunnen uit bestaande administraties van IT-componenten gehaald worden. Achterliggend idee is dat de eerste aanzet voor data-analyse niet ingewikkeld hoeft te zijn om het gesprek op gang te brengen. Met deze eenvoudige analyse kun je met het senior management van de IT-organisatie in gesprek over vragen als: ‘Waarom neemt component X wel af maar component Y niet? Is dit beeld in lijn met verwachtingen en de strategie?’. In plaats van een gesprek over gewenste situaties en implementatieplannen, kun je zo de vereenvoudigingsstrategie nu ook bespreken met data die ‘live’ de werkelijke situatie van het bedrijf weergeeft.

Figuur 4: Voorbeeld van een grafiek, bruikbaar in gesprekken tussen auditor en IT-organisatie over realisatie van een IT-strategie met als doel het IT-landschap te vereenvoudigen.

Voorbeeldcase 3: Risico management

In dit derde voorbeeld zie je in figuur 5 dat een Board (Raad van Bestuur, maar je kunt hiervoor ook lezen: Directie, MT of IT-committee) veel informatie ontvangt om de bedrijfsdoelstellingen en risico’s te kunnen managen, ook gerelateerd aan het systeemontwikkelproces. Standaarden voor risk monitoring-informatie voor agile systeemontwikkeling zijn beperkt beschikbaar en niet op de praktijk toegesneden. Uitdaging voor de auditor is daarom om de juiste vragen te stellen en daarmee data-analyses op te starten die op boardniveau aanvullende en relevante informatie geven. En of je nu auditmanager of auditor bent, iedereen kan met auditcollega’s de volgende vragen bespreken om zo tot nieuwe inzichten en data-analyseactiviteiten te komen: 

• Welke actuele vraag over systeemontwikkeling in onze organisatie is relevant voor de board? 
• Is hier al informatie over? Welke data is beschikbaar om de vraag te beantwoorden? 
• Hoe kunnen we met het antwoord vlot impact hebben? 

Het vraagt niet meer dan een ‘ik vind dit belangrijk’-houding om dit op te starten. Afhankelijk van de situatie zijn natuurlijk veel antwoorden mogelijk. Hier zijn drie voorbeelden van dergelijke vragen:

• Wat zijn de belangrijkste risico’s die onze agile softwaredevelopmentteams identificeren? Gebruik vervolgens bijvoorbeeld data uit de risk logs van de devops-teams om antwoorden te vinden.
• Welke hr- en cultuuraspecten hebben impact op de effectiviteit en risicobeheersing van agile softwaredevelopmentteams? Combineer vervolgens bijvoorbeeld data uit de incidentendatabases met data over teambezetting, opleiding en productiviteit van teams om high en low performance teams te identificeren.
• Is er sprake van goede samenwerking en onderling vertrouwen in de ontwikkelteams? Gebruik hiervoor bijvoorbeeld de resultaten van medewerkerstevredenheidsenquêtes. 

Vragen en antwoorden kun je bespreken met het auditmanagement, de afdeling Systeemontwikkeling, IT-management of de board en deze vragen en antwoorden kunnen op deze manier leiden tot nuttige vervolgacties.

Figuur 5: Beschrijving van de context waar de auditor in opereert.

Conclusie: er is een wereld vol data te ontdekken 

De audit van agile- en devops-systeemontwikkeling is lastig door de meer informele manier van werken. De risico’s blijven min of meer gelijk, maar de invulling van controls verandert. Positief is dat veel data en data-analysehulpmiddelen beschikbaar zijn voor de beheersing van systeemontwikkeling. Meer aandacht voor het gebruik van data-analyse gericht op het systeemontwikkelproces biedt IT-auditors daardoor kansen om toegevoegde waarde te blijven leveren. Naast data-analyse zullen reguliere project- en proces- audits blijven bestaan, voor verdieping en begrip van details.

Er is nog geen standaardmethode beschikbaar om met data-analyse zekerheid te kunnen geven over de beheersing van agile systeemontwikkeling. We moeten als auditors dus zelf aan de slag. In dit artikel passeerden drie voorbeeldcases de revue, die bedoeld zijn als suggesties en hopelijk inspireren om zelf data-analyse enthousiast op te pakken. Je las verder over belangrijke factoren om van data-analyse voor systeemontwikkeling een succes te maken: (1) nauwere samenwerking van auditors met systeemontwikkelaars en andere bedrijfsafdelingen, en (2) focus op senior managementvraagstukken. Maar misschien nog belangrijker zijn creativiteit en lef van de auditor, het valt of staat met jou. Wil jij, als auditmanager of auditor, meer data-analyse? Begin dan vandaag met je eerste brainstorm hierover in het team!

Tot slot

Jezelf als auditor verdiepen in data-analyse gericht op systeemontwikkeling is soms een flinke zoektocht. Positief is dat wat je als auditor bedenkt en maakt voor data-analyse, meerdere keren gebruikt kan worden. Dat is mooi. En nog mooier is dat de mogelijkheden voor data-analyse oneindig zijn. Er is een wereld vol data te ontdekken voor wie wil.