Een nieuwe auditaanpak voor complexe projecten

Complexiteit is geen black box

11 januari 2022 Stephanie Lavies, Maarten de Witt en Robert van den Heuvel
PDF
In dit artikel:

(Publicatiedatum: 11 januari 2022)

Uit de praktijk blijkt dat bij veel projecten de gestelde doelen niet worden behaald. Bovendien is vaak de doorlooptijd (veel) langer dan gepland en de kosten (veel) hoger dan beoogd. Dit niet in de laatste plaats met reputatieschade tot gevolg. Ook de gemeente Rotterdam kent dit soort projecten. De complexiteit van deze projecten en het ontbreken van een bijbehorende aanpak zijn hiervan belangrijke oorzaken. Om bij te dragen aan een succesvol verloop van deze projecten, heeft Concern Auditing van de gemeente Rotterdam een nieuwe auditaanpak ontwikkeld, die in dit artikel wordt gepresenteerd.

Complex versus gecompliceerd

Complexiteit is een veelomvattend begrip. Een eenvoudige manier om dit uit te leggen, is met de vergelijking tussen een vliegtuig en een olifant. Een vliegtuig kan uit elkaar worden gehaald, en weer in elkaar gezet worden. Dit is niet eenvoudig, maar met de juiste instructies, kennis en vaardigheden is dat mogelijk. Je kan spreken van een gecompliceerd project. Bij een olifant ligt dit anders, eens uit elkaar keert het leven nooit terug. Dit geldt ook voor een complex project, dat niet kan worden opgedeeld in kleine stukjes. Het moet als ‘geheel’ worden benaderd, zoals een zwerm vogels die opereert als een complex adaptief systeem (zie figuur 1).

Figuur 1: Complex adaptief systeem

Waar bij gecompliceerde projecten sprake is van een gesloten systeem, met minimale invloed vanuit de omgeving, staan complexe projecten continu onder invloed van een veranderende omgeving. Verbindingen en afhankelijkheden tussen project en omgeving zijn nauwelijks zichtbaar, terwijl deze omgeving in grote mate bepalend is voor het succes. Dit is vaak het geval bij projecten waar baanbrekende technologie wordt toegepast of innovatieve IT-oplossingen. 

Er zijn steeds meer specialisaties nodig om het complexe project tot een goed einde te brengen. Er wordt gewerkt met een flexibele scope, waardoor scopeveranderingen (vroeger absolute ‘no go’ in projectmatig werken) niet alleen onvermijdelijk zijn, maar zelfs wenselijk. De toenemende verwevenheid en afhankelijkheid van organisaties in steeds omvangrijkere en dichtere netwerken zijn bepalend voor de mate van complexiteit. Een complex project is niet vooraf te doorgronden en kent een vitaal netwerk met vele stakeholders met uiteenlopende belangen. Deze complexe projecten kunnen groot zijn en voorkomen in het fysieke domein, maar ook klein zijn en voorkomen binnen het sociale domein of het IT-domein.

Complexe projecten: experimenteer, ervaar en leer al doende. Verken en analyseer gaandeweg, om vervolgens toe te passen

Zicht op complexiteit

Hoe krijg je als auditor zicht op complexiteit in projecten? Complexiteit wordt vaak ervaren als lastig te begrijpen en moeilijk om grip op te krijgen. Maar integendeel, complexiteit is geen black box. Uit de praktijk blijkt namelijk dat er wel degelijk elementen zijn die zicht geven op de oorsprong en de mate van complexiteit van een project. Dit wordt ondersteund door wetenschappelijk onderzoek. Mede op basis van deze kennis heeft Concern Auditing van de gemeente Rotterdam een complexiteitscan ontwikkeld met vijf eigenschappen van complexiteit (zie figuur 2). 1

Figuur 2: Complexiteitsscan

De vijf eigenschappen van complexiteit zijn:

  1. Afhankelijkheid van de dynamiek van de omgeving. Afhankelijkheid ontstaat door ontwikkelingen in de omgeving, bijvoorbeeld een streven naar efficiency of juist naar duurzaamheid. Maar ook door het grote aantal stakeholder-visies, ideeën met uiteenlopende of onderlinge afhankelijkheid en interactie. Aspecten die hierbij een rol spelen, zijn het aantal contractpartijen dat moet worden aangestuurd en de manier waarop conflicten worden opgelost.
  2. Onzekerheid en onregelmatigheid. Complexe projecten kennen een zekere mate van (technische) onzekerheid en onregelmatigheid. Is er bijvoorbeeld sprake van het gebruik van not-proven technology in het project? 
  3. Vaagheid van visies en doelen. Er is een zekere vaagheid in de uiteindelijke visies op en doelen van het project en onscherpte over wat er nu eigenlijk op lange termijn beoogd wordt met het project-resultaat. Bepalend hierbij is de mate waarin doelen helder zijn omschreven, de mate van zekerheid over de kosten en het vertrouwen in de uiteindelijke oplossing.
  4. Gepercipieerde tijdsdruk. Het project kan te maken hebben met een gepercipieerde tijdsdruk, omdat resultaten snel worden verwacht of omdat er een opwaartse druk is door bijvoorbeeld concurrentie of politiek.
  5. Innovatie. Het project kent vaak (baanbrekende) innovatie. Aspecten die een rol spelen zijn de mate van noviteit (kleine productinnovatie of breakthrough-technologie) en de verwachte tijd die nodig is om de verschillende innovatieve aspecten binnen het project te ontwikkelen.

Met deze scan wordt op basis van deze vijf eigenschappen een inschatting gemaakt van de mate van complexiteit. De scan bestaat uit een vragenlijst. Het is een selfassassment, die wordt ingevuld door de relevante spelers in en rond het project – denk onder andere aan het projectteam, maar ook aan (externe) stakeholders – en vervolgens gereviewd in de audit. Indien drie van de vijf aspecten hoog scoren, is er in aanleg sprake van een complex project.

Succesbepalende principes van complexe projecten

Traditioneel zijn mensen in organisaties geneigd complexe projecten als gecompliceerde projecten (‘vliegtuigen’) te benaderen, met een strakke planning gericht op een eenduidig resultaat. Dit is te wijten aan een gebrek aan kennis over de juiste aanpak. De praktijk laat zien dat deze manier van beheersing niet past in een omgeving die steeds dynamischer wordt. Strakke sturing, controle en uitgebreide regelgeving zijn niet effectief bij complexe projecten die worden gedomineerd door onzekerheid, dynamiek en onvoorspelbaarheid. Dit is een van de oorzaken dat zoveel projecten misgaan, het ‘leven’ wordt uit het project gehaald. Dit betekent niet dat complexiteit als onbeheersbaar moet worden gezien. Het is zeker mogelijk te sturen op complexe projecten. Namelijk aan de hand van de volgende uitgangspunten2 die een belangrijke rol spelen in het succes van complexe projecten:

  • De aanpak is gebaseerd op gedeelde waarden. 
  • Het hogere doel is leidend.
  • De gedeelde projectvisie is geborgd.
  • De ontwikkelbenadering biedt ruimte voor vaagheid.
  • Vertrouwen is de basis.
  • Transformationeel leiderschap voor de projectleider/projectmanager.
  • De voorwaarden voor zelforganisatie van het projectteam zijn geborgd.
  • Er is ruimte voor creativiteit.
  • Gebruikersparticipatie is vanaf het begin geregeld.
  • Er is ruimte gemaakt en waarde gegeven aan de stakeholderdialoog.
  • Resultaatgerichtheid waar het kan.
  • Er is een positieve en productieve vibe in en rond het project.

Het auditen van complexiteit 

Wat betekent de aanwezigheid van complexiteit in projecten nu voor de auditaanpak bij deze projecten? Concern Auditing van de gemeente Rotterdam speelt als auditafdeling in op de dynamische omgeving waarin complexe projecten opereren door twee auditinstrumenten toe te passen: 

  1. Het uitvoeren van de bovengenoemde complexiteitsscan.
  2. Indien sprake is van complexiteit, het toepassen van het framework complexe projecten.

De succesbepalende uitgangspunten van complexe projecten, zoals boven beschreven, vormen samen met een aantal andere theorieën, zoals Agile, Lean, sociale dynamiek en organisatie-energie, de basis voor het framework dat Concern Auditing heeft ontwikkeld. Dit betekent dat de focus, naast het traditionele geld, tijd en kwaliteit, vooral ligt op de vraag of klantwaarde wordt vergroot en of het project wendbaar innoveert op basis van prototypes. 

Omdat de hard controls (tijd, geld, kwaliteit) deels naar de achtergrond verhuizen en een oordeel gegeven wordt over het acteren van de projectorganisatie in een dynamische omgeving, zijn soft controls een belangrijker onderdeel van de auditaanpak. Daarin is netwerkleiderschap een onmisbaar element om deze aspecten te kunnen beoordelen. Voorbeelden van vragen die we stellen zijn: 

  • Zijn gedeelde waarden, collectieve ambitie en projectvisie onderdeel van het leiderschap? 
  • Is gekozen voor een ontwikkelbenadering en waarom? 
  • Ervaart men een constant niveau van gezonde passie binnen het team/projectnetwerk? 
  • Wordt open gecommuniceerd en vertrouwen gestimuleerd? 
  • Is diversiteit in het team geborgd, zijn medewerkers verantwoordelijk voor het behalen van projectdoelen en worden ze geïnspireerd en gemotiveerd?

Niet effectief bij de onzekerheid, dynamiek en onvoorspelbaarheid van complexe projecten zijn strakke sturing, controle en uitgebreide regelgeving

Gevolgen voor de auditbenadering

Het is van belang in te zien dat ook traditionele projectinformatie (stuurinformatie) voor de audit minder beschikbaar en of relevant is en vervangen wordt door andere instrumenten:

  • Maandelijkse standaardrapportages worden aangevuld met of soms vervangen door realtime stuurinformatie via JIRA/scrumsboards/elektrische whiteboards.
  • Blauwdrukplannen volgens de watervalmethode (scope, work breakdown, sequentiële uitvoering) worden vervangen door iteratieve procesdocumenten (scrums en sprints) en minimaal levensvatbare producten (minimal viable products).

Een andere dynamiek binnen het project betekent ook een andere dynamiek binnen de audit: 

  • Omdat het belangrijk is om tijdig de mate van complexiteit van een project te onderkennen, is het van belang dat we de audit al vanaf het begin  van het project kunnen starten. 
  • Omdat we onze informatie ook op een andere wijze moeten verkrijgen, maken we meer gebruik van participerende observatie, bijvoorbeeld tijdens projectteamoverleg en bij fysieke opleveringen. 
  • Ook krijgen de interviews met betrokkenen een andere invulling. Niet alleen de leden van projectteams staan hierin centraal, maar vooral de (perceptie van de) belangrijkste stakeholders, zoals de gebruikers/afnemers van de producten. 
  • Om de sociale dynamiek te kunnen doorgronden, nemen (groeps-)interviews langer in beslag dan voorheen, zo’n twee uur. Object van onderzoek is daarbij niet de traditionele sturingsrol van de projectleider, maar het zelfmanagement van het projectteam en de product owner. Teamsamenstelling en het functioneren zijn hierbij van belang.
  • Ten slotte sparen we auditbevindingen niet op tot de rapportage, maar delen we deze tussentijds met de opdrachtgever, respectievelijk de auditee, zodat de bevindingen snel kunnen worden meegenomen in het ontwikkelproces. Hiermee leveren we echt toegevoegde waarde.

Conclusie

Bij complexe projecten gaat het vaak om experimenteren, ervaren en ‘al doende leren’. Het is dan ook geen probleem dat vooraf weinig bekend is. Gaandeweg wordt verkend en geanalyseerd, om vervolgens toe te passen. Met kleine stapjes in de goede richting gaan, werkt beter dan vooraf een totaaloplossing bedenken. Door hier in onze auditaanpak rekening mee te houden, bewegen we mee op het ritme van het project. Zo zijn we in staat risico’s tijdig te signaleren en van toegevoegde waarde te zijn voor gemeente Rotterdam.

Winnaar Protiviti Internal Audit Innovation Award

Recent heeft Concern Auditing voor de nieuwe auditaanpak de Protiviti Internal Audit Innovation Award gewonnen. De jury was enthousiast over de brede toepasbaarheid van de auditmethode, niet alleen voor gemeenten, maar voor alle organisaties die te maken hebben met complexe projecten.

Noten

1 Deze scan is afgeleid van de publicatie Value-based Projectmanagement. [NICO13]

2 Deze principes zijn afgeleid van de publicatie Value-based Projectmanagement. [NICO13]

Literatuur

[NICO13] Nicoline Mulder, Value-based projectmanagement, Boom, 2013, ISBN: 9789024421985

Niet gecategoriseerd

Stephanie Lavies MA RO | adviseur monitoring en signalering bij de Jeugdautoriteit

Stephanie was tot voor kort auditor bij de gemeente Rotterdam. Zij heeft veel ervaring met maatwerk en governancevraagstukken. Momenteel is ze adviseur monitoring en signalering bij de Jeugdautoriteit, ministerie van VWS. 

Drs. Maarten de Witt RO RE | auditor bij de gemeente Rotterdam

Maarten is auditor bij de gemeente Rotterdam. Hij heeft veel ervaring met projectaudits, ENSIA audits en governancevraagstukken. Daarvoor was hij senior projectleider bij de gemeente Rotterdam.

Drs. Robert van den Heuvel | senior auditor bij de gemeente Rotterdam

Robert is senior auditor bij de gemeente Rotterdam op de afdeling Concern Auditing. Hij is specialist op het gebied van management control en (project-)governancevraagstukken.