In het eerste deel van deze serie artikelen over het inrichten van een audit, hebben we het gehad over controledoelstellingen en het doel van een audit . Klik hier om deel 1 terug te lezen. Een ander belangrijk aspect is het zogenaamde scoremodel waarover we het gaan hebben in dit deel.
Top 5 valkuilen
Op het eerste gezicht lijkt een scoremodel voor een audit niet heel ingewikkeld. Tenslotte zijn er maar een paar beperkte keuzes voor een checklist: “goed” of “fout”, “ja” of “nee” of open vragen. Toch is het essentieel dat hier van tevoren goed over wordt nagedacht vóórdat de vragen voor de checklist worden bedacht. In dit artikel wordt een aantal valkuilen genoemd die in de praktijk regelmatig voorkomen. We beperken ons hier tot een top 5:
- Geen gebruik van een scoremodel
- Geen rekening gehouden met de kwantificering van de resultaten
- Geen consistente betekenis scores
- Geen (toereikende) instructies
- Geen aandacht voor niet-financiële kwaliteitscriteria
Geen gebruik van een scoremodel
Sommige checklisten die in een audit worden gebruikt, bevatten helemaal geen mogelijke scores. De checklist heeft dan meer het karakter van een lijst met aandachtspunten die bij een audit moeten worden bekeken. Omdat de checklist geen voorgeschreven score heeft, is de interpretatie van de antwoorden vaak lastig. De formulering van de antwoorden is dan afhankelijk van degene die de checklist invult. De ervaring is dat bij meerdere auditors de wijze waarop de antwoorden worden ingevuld (en bedoeld) al gauw van elkaar verschilt, waardoor de interpretatie van de bevindingen moeilijker is. Ook als instructies worden mee gegeven, is het niet altijd makkelijk om een uniforme en consistente werkwijze te borgen.
Geen rekening gehouden met de kwantificering van de resultaten
Bij de meeste audits is het de bedoeling dat de resultaten gekwantificeerd worden en uitgedrukt worden in een percentage zoals een foutpercentage in aantallen of in geldbedragen. Daarbij moet dan wel rekening gehouden met zogeheten relevante en niet-relevante waarnemingen. Een fout in aantallen wordt bijvoorbeeld uitgedrukt in het aantal “fout” antwoorden ten opzichte van het aantal gecontroleerde aspect. In dat laatste is het van belang om niet-relevante waarnemingen niet mee te tellen. Vaak wordt daar in een scoremodel de scoremogelijkheid “niet van toepassing” gebruikt. Als daar echter geen rekening mee wordt gehouden, is het foutpercentage eigenlijk te laag aangezien niet-relevante waarnemingen ook worden meegeteld als een gecontroleerde post.
Geen consistente betekenis scores
Bij sommige checklisten worden de vragen zodanig geformuleerd dat een “ja” of “nee” score niet per definitie eenzelfde betekenis te hebben. Soms is een “ja” antwoord een positieve bevinding en soms een negatieve bevinding, afhankelijk hoe de vraag wordt geformuleerd. Dat maakt het kwantificeren van de bevindingen wel lastiger. Het is daarom aan te bevelen om de vragen zo te formuleren dat een “ja” en “nee” score consistent dezelfde betekenis heeft. Dat is overigens de reden waarom sommige vragen in een checklist negatief geformuleerd kunnen zijn (“is het niet dat…”).
Geen (toereikende) instructies
Niet alle checklisten die in de praktijk gebruikt worden, zijn voorzien van een (toereikende) instructie voor degene die de checklisten invullen. Om echter een mogelijke score goed te kunnen invullen, zoals het bedoeld is, is een nadere toelichting op de scoremogelijkheid wel nodig. Een voorbeeld is de scoremogelijkheid “goed”: is deze score bedoeld als op het te toetsen aandachtspunt op alle deelaspecten geen fouten zijn geconstateerd of kan de score ook gebruikt worden als op sommige deelaspecten een fout is aangetroffen die van beperkt belang is? Een ander voorbeeld is de vraag of een goed score mag worden gebruikt voor een fout die geen gevolgen heeft voor de rechtmatigheid en bijvoorbeeld alleen betrekking heeft op een interne procedure/werkafspraken.
Geen aandacht voor niet-financiële kwaliteitscriteria
Bij veel auditfuncties bij gemeenten is het de ambitie om meer te zijn dan alleen een verlengstuk van de externe accountantscontrole. Dat neemt niet weg dat in de praktijk de nadruk van de audit bij de meeste gemeenten nog steeds op de traditionele doelstelling van de rechtmatigheid ligt. Toch kan bij een scoremodel rekening gehouden met bevindingen die weliswaar voor de rechtmatigheid niet van belang zijn maar wel voor de bedrijfsvoering of van belang zijn voor de dienstverlening aan de burger. Een voorbeeld is het wel of niet halen van (niet-wettelijke) maximale doorlooptijden van een handeling. Omdat het overschrijden van een termijn in dit voorbeeld geen rechtmatigheidsgevolgen heeft, kunnen dergelijke bevindingen niet altijd in de keuze van een score worden uitgedrukt als daar geen rekening mee was gehouden. Een mogelijke oplossing is een nadere onderscheid te maken in de mogelijke foutscores in het scoremodel zoals “rechtmatigheidsfout” en “overige fouten”.
Conclusie
De ene audit is de andere niet: dat komt onder meer tot uiting in het scoremodel dat wordt gekozen. Zo lenen scores zoals “goed” of “fout” zich bijvoorbeeld meer voor rechtmatigheidscontroles dan audits waarbij het de bedoeling is om meer inzicht te krijgen in de bedrijfsvoering waar wellicht open vragen meer passen.
Naast de doelstellingen die in deel 1 zijn behandeld en het scoremodel in dit deel, zijn ook de toetsvragen zelf uiteraard van belang voor een audit. In een volgende editie van EFK Gemeentegoed gaan we daar nader op in.
Op dinsdag 15 oktober 2019 is deel 3 verschenen. Klik hier om deel 3 te lezen.