Web Analytics

Een duikje in het Nederlandse ICT-dashboard

September 2011
Mei 2011 heeft de Nederlandse regering het ICT-dashboard gelanceerd. Om een objectieve basis te creëren voor een publiek debat, heeft SIG een kritische blik geworpen op de onderliggende gegevens van het dashboard.
     
Dashboard    Op deze website wordt alle informatie gepubliceerd met betrekking tot de grote en risicogevoelige IT-projecten. Het dashboard heeft flink wat kritiek te verduren gekregen. Er wordt gebruik gemaakt van een drie-kleuren systeem, maar alle projecten staan op "groen". Het is echter algemeen bekend dat, zoals in de pers ook breed uitgemeten, een groot aantal van deze projecten mislukken.

In een poging om de transparantie van de ICT uitgaven te verbeteren heeft de Nederlandse regering een ICT-dashboard gelanceerd dat is afgeleid van het ‘Federal IT Dashboard’ van de Amerikaanse regering. Net als het Amerikaanse voorbeeld is het Nederlandse dashboard gebaseerd op informatie die wordt aangeleverd door de ministeries en andere overheidsorganen. Deze informatie is de input voor een beoordelingssysteem dat de score van elk project weergeeft op een rood-geel-groen schaal. Afbeelding 1 toont een voorbeeld.
                                   
ICT-dashboard Figuur 1: Schermafbeelding van een dashboardpagina.

Het valt op dat het project in het "groen" scoort waardoor de indruk wordt gewekt dat het project er goed voorstaat. Dit project is echter meerdere keren in het nieuws geweest vanwege aanzienlijke overschrijdingen van het budget. Hoe is dit mogelijk?

Zijn de scores misleidend?
De scores die op het dashboard worden gepresenteerd zijn niet gebaseerd op de oorspronkelijke projectplanning, maar op de laatste "herijking" van het projectplan. Het bovengenoemde project is sinds de oorspronkelijke planning driemaal herzien. Herijking betekent dat er een nieuw budget en extra tijd aan het project werd toegewezen, hetgeen de groene score verklaart. Deze methode wordt op de website uitgelegd maar gaat tegen de intuïtie van de meeste burgers in.

Spitten in de ruwe gegevens
We besloten om de scores te negeren en een blik te werpen op de onderliggende gegevens. Met behulp van scripts hebben we alle informatie kunnen downloaden en in een database opgeslagen. Hierdoor kregen we de mogelijkheid om query’s uit te voeren en konden we sommige performance indicators zelf uitrekenen. We presenteren hieronder een aantal interessante bevindingen, het volledige rapport is online beschikbaar.

Hoeveel geld wordt er per dag uitgegeven?
We hebben de dagelijkse kosten van ieder project berekend door de totale kosten (ook per project) te delen door het aantal werkdagen tussen het begin en het eind van het betreffende project. Met uitzondering van drie projecten, is gebleken dat alle projecten meer dan € 10.000 per dag kosten. Het project met de hoogste kosten komt uit op € 225.000 per werkdag (het Toeslagen Nieuw project).

Wat als we de Nederlandse en Amerikaanse score met elkaar vergelijken?
In aanvulling op het Nederlandse beoordelingssysteem hebben we van ieder project ook de score aan de hand van het Amerikaanse beoordelingssysteem bepaald en de uitkomsten van beide berekeningen met elkaar vergeleken. De onderstaande tabel laat zien dat het aantal projecten dat als “groen” beoordeeld is door het Nederlandse beoordelingssysteem, terugvalt van 100 procent naar slechts 44 procent als het Amerikaanse beoordelingssysteem wordt gehanteerd.

          Rood
Actie vereist
      Geel
Aandacht vereist 
       Groen
Normaal
  Nederland   0 (0%)   0 (0%)    45 (100%)
  Amerika   9 (20%)   16 (36%)    20 (44%)

Naar een transparante ICT besteding van de overheid
De presentatie van ICT projecten op een publiek dashboard is een waardevolle stap naar transparantie over de manier waarop ons belastinggeld in ICT wordt geïnvesteerd. Om effectief te zijn moeten de gepresenteerde gegevens echter up-to-date en volledig zijn en op een zinvolle manier worden samengevoegd. De analyses en de bevindingen, die in ons volledige rapport beschikbaar zijn, kunnen worden gezien als een startpunt om het Nederlandse ICT-dashboard te verbeteren zodat het kan uitgroeien tot een effectieve tool om de ICT uitgaven van de overheid onder controle te houden.

Copyright: © 2014 Software Improvement Group