Evalueren van oefeningen

KGCO grafiekU bent verantwoordelijk voor de organisatie van een oefening en u vraagt zich af hoe u de evaluatie moet organiseren. U wilt dat er op goede wijze wordt geëvalueerd zodat de leerpunten uw crisisorganisatie nog professioneler maakt.

Op welke manier kunnen we nu objectief en uniform waarnemen? Welke evaluatiemethodiek kunnen we gebruiken? Hoe kom ik aan goede waarnemers en wie maakt de evaluatieformulieren en zorgt voor een goede rapportage? AdviSafe kan u helpen bij de beantwoording van deze vragen en het op goede wijze uitrollen van het gewenste evaluatietraject.

 Doel

Het evalueren van een oefening met een eenduidige evaluatiemethodiek met als resultaat een verzameling van waarnemingen en adviezen die de crisisorganisatie verder professionaliseren en efficiënter maken.

Doelgroep

Organisaties die behoefte hebben aan het onafhankelijk en deskundig waarnemen en evalueren van uiteenlopende soorten oefeningen. Onze waarnemers zijn ook in te zetten bij werkelijke crisissituaties.

Werkwijze

Bij een oefening worden vooraf de oefendoelen en de specifiek waar te nemen onderdelen vastgesteld. Het waarnemen gaat volgens de “AKOC-methode” van AdviSafe, maar in overleg kunnen ook andere methodes toegepast worden. Tijdens de oefening worden op alle belangrijke locaties waarnemers van AdviSafe ingezet.

AKOC

De afkorting staat voor Analyse Kritische Onderdelen Crisisbeheersing. Dit is de standaard werkwijze van AdviSafe voor de evaluatie van oefeningen en bestaat uit 24 kritische onderdelen van de crisisbeheersings-processen.

Deze onderdelen bestaan uit een aantal subonderdelen welke samen een oordeel vormen voor het betreffende onderdeel. Op deze wijze worden de observaties gestructureerd en meetbaar.

De onderdelen worden aangevuld en op maat gemaakt. Er wordt waargenomen op een breed scala aan onderdelen bijvoorbeeld: alarmering, leiderschap, communicatiestrategie, vergaderagenda en informatiemanagement.

De ingevulde evaluatieformulieren van de waarnemers worden in een rekenmodel ingevoerd waarbij een grafische weergave ontstaat over de resultaten van de deelnemers. Aan de hand van deze grafische weergave kan men in één oogopslag zien bij welke onderdelen nog verbetering gewenst is. Er zijn diverse varianten mogelijk van deze grafische weergave, afhankelijk van de keuze van de opdrachtgever en het type waarneming. Met AKOC kan inzichtelijk worden gemaakt wat de voortgang is van een organisatie na bijvoorbeeld meerdere oefeningen. Deze methodiek is bij uitstek geschikt voor een meerjarig oefenprogramma, bijvoorbeeld als onderdeel van het Opleiden, Trainen en Oefenen (OTO) programma.KGCO grafiek

Voorbeeld grafische weergave AKOC:

Evaluatiesystematiek

De evaluatie van oefeningen gaat volgens een vast stappenplan waarbij stap 1 en 2 altijd worden uitgevoerd. Stap 3 (video-evaluatie) en stap 4 (bespreking rapportage) zijn optioneel.

Stap 1 stoom af blazen

Dit evaluatiemoment kenmerkt zich door het delen van eerste ervaringen en leerpunten. Direct na de oefening wordt de deelnemers gevraagd om met elkaar een top drie van verbeterpunten te inventariseren. De top drie en de bevindingen van de waarnemer vormen de basis voor de directe evaluatie na afloop, eventueel aangevuld met bevindingen van de responscel (tegenspelers). In het rondje “stoom af  blazen” krijgen de deelnemers vooral de mogelijkheid om eigen ervaringen en leerpunten te delen. Deelnemers ontvangen tevens een evaluatieformulier om zo o.a. de opzet van de oefening/training en de begeleiding te beoordelen en de ervaringen te borgen voor de evaluatierapportage.

Stap 2 opstellen evaluatie

De waarnemer levert na afloop van de oefening een waarnemingsrapport met de waarnemingen en concrete adviezen. De waarnemers observeren op zowel inhoud, proces als (team)gedrag. Ook is er aandacht voor specifieke rollen. Het eindresultaat kan een Power Point presentatie zijn met kernachtig de bevindingen en aanbevelingen per team. Bij een evaluatierapport wordt aandacht besteed aan de oefendoelen, het geoefende scenario en het verloop van de oefening. Tevens worden de evaluatieformulieren van de deelnemers grafisch verwerkt en indien gewenst kan een foto-impressie van de oefening worden opgenomen. Kern van de rapportage is het overzicht van observaties, leerpunten en eventueel een actielijst. De basis hiervoor is de vooraf vastgestelde (AKOC) evaluatiemethodiek.

Stap 3 (optioneel), video evaluatie

Het crisisoverleg kan door AdviSafe worden gefilmd. Na de analyse van het beeldmateriaal worden de belangrijkste momenten verzameld en bewerkt tot een compilatie. Samen met de deelnemers worden de compilatiebeelden teruggekeken. De beelden kunnen zowel op kennis als op kunde en vaardigheden worden uitgezocht. Deelnemers krijgen op interactieve wijze inzicht in houding en gedrag tijdens een crisisoverleg en opvallende zaken worden nader met elkaar besproken.

Uitgangspunt is dat dit geen negatief effect heeft op het functioneren van de deelnemers. Het verzamelde beeldmateriaal wordt na afloop beschikbaar gesteld aan de opdrachtgever.

Stap 4 (optioneel), terugkomsessie

Na oplevering van de evaluatie kan de opdrachtgever er voor kiezen om een gezamenlijke terugkomsessie te organiseren met de deelnemers. In deze sessie worden de belangrijkste leerpunten en aanbevelingen met de deelnemers doorgenomen. Tevens kan besproken worden of de geleerde lessen ook daadwerkelijk omgezet zijn tot een concrete actie.  Deze terugkomsessie is ook waardevol voor functionarissen (of vervangers) die tijdens de oefening niet aanwezig waren. In vergelijking met “het stoom afblazen” in stap 1 is er nu meer tijd om met elkaar te discussiëren maar vooral om van en met elkaar te leren en de crisisorganisatie verder te professionaliseren.

De sessie kan ook uitstekend gebruikt worden om nieuwe ontwikkelingen en/of initiatieven op het gebied van crisisbeheersing met elkaar te delen. Denk hierbij aan nieuwe ontwikkelingen op het gebied van opleiden, trainen en oefenen, veranderingen/wijzigingen in organisatie en technieken. AdviSafe denkt graag met u mee over de invulling van de terugkomsessie.

Aanvullende informatieburgemeestergame

  • Oefening kunnen BTW vrij worden aangeboden, AdviSafe is CRKBO gecertificeerd.

Evaluaties kunnen in de Nederlandse of de Engelse taal worden uitgevoerd afhankelijk van uw behoefte.

“Hele goede ervaren lesgever met goede voorbeelden”

deelnemer Tripod Refresh training