Checklist Kwaliteit Onbemenste Advies- en Transactietoepassingen (KOAT)

Vertrouwen in onbemenste toepassingen

Met de komst van internet in de jaren 90 is het veel makkelijker geworden om op grootschalige wijze processen geheel te automatiseren. Transacties kunnen worden afgehandeld zonder dat door de afhandelende partij in persoon ooit naar de juistheid van de feitelijke transactie is gekeken. Het begon in 1995 met de aanschaf van boeken bij Amazon. Inmiddels zijn geheel geautomatiseerde processen ook gemeengoed binnen de financiële dienstverlening. Van het afsluiten van een verzekering tot het uitbrengen van een advies. Van bediening van de eindklant (consument of zakelijk) tot de bediening van de adviseur.

Overzicht mogelijke risico’s bij inzet onbemenste toepassingen

Geheel geautomatiseerde processen hebben als kenmerk dat taken (als het afsluiten van een verzekering of het uitbrengen van advies) worden uitgevoerd zonder menselijke tussenkomst. Deze toepassingen voeren dus autonoom een taak uit, ook aangeduid als onbemenste toepassingen. Een belangrijk aandachtspunt bij het gebruik van onbemenste toepassingen is dat er geen directe menselijke reflectie op de uitkomst is.

Op het moment dat er een verkeerd boek wordt bezorgd is dat ondanks het ongemak relatief eenvoudig te herstellen. Op het moment dat de aanvullende uitkering van een AOV verzekering verkeerd wordt vastgesteld kan een fout mogelijk pas veel later aan het licht komen en is dan (als nog mogelijk) vaak veel lastiger te herstellen. De gebruiker (eindklant of adviseur) van een onbemenste toepassing moet er op kunnen vertrouwen dat deze toepassing de juiste beslissingen neemt of adviezen geeft. Zeker binnen de financiële dienstverlening vereist dit punt nadrukkelijk de aandacht. Het is de verantwoordelijkheid van de sector om ook bij de inzet van technologie het klantbelang te borgen. Ten eerste de vraag hoe je de kwaliteit van toepassingen borgt wanneer er geen directe menselijke reflectie op de uitkomst is. Ten tweede de vraag hoe je op een systematische wijze invulling kunt geven aan de borging van deze kwaliteit.

“Wij toetsen de processen rond onze modellen aan de Checklist Kwaliteit Onbemenste Toepassingen van SIVI”.

– Renzo Plaisant van der Wal (machine learning enineer bij Voogd & Voogd) zie ook Digimagazine AM

Doel van de Checklist-KOAT

SIVI introduceert de Checklist-KOAT als eerste stap in het bereiken van een branche brede uitwisseling / samenwerking rond kwaliteit bij de inzet van onbemenste toepassingen gericht op eindklanten en adviseurs. De werkvorm ‘checklist’ is gekozen omdat deze past bij een markt waarin nog volop wordt geleerd en geen dominante architecturen of werkwijzen aanwezig zijn. Tevens stelt deze werkvorm SIVI instaat snel voortschrijdend inzicht door te voeren en zonder grote impact te delen met de markt.

De Checklist-KOAT stelt partijen instaat de maatregelen rond de kwaliteit van onbemenste toepassingen te beoordelen. De checklist KOAT maakt inzichtelijk hoe een toepassing omgaat met de eisen die vanuit de wet worden gesteld, de belangrijkste risico’s bij inzet van de gebruikte technologieën en het invullen van processen als testen en monitoring. Daarmee zorgt de Checklist KOAT voor structuur en zet aan tot zorgvuldig werken. Door het invullen van de Checklist-KOAT krijgt de gebruiker of de lezer inzicht in hoe wordt omgegaan met wetgeving, risico’s en processen rond kwaliteit.

“We moesten verschillende mensen betrekken om de checklist goed in te vullen. Dat laat zien dat kwaliteit niet de verantwoordelijkheid is van een of slechts enkele medewerkers, maar dat kwaliteit door de hele organisatie verweven zit. Iedereen draagt daaraan bij.”

– Emiel Ribbens (CCS)

Gebruik van de Checklist-KOAT.

Hoe gebruik ik de Checklist-KOAT?

De checklist is bedoeld voor toepassingen die geheel omvattende taken of deeltaken onbemenst uitvoeren. De checklist is zowel te gebruiken voor toepassingen voor eindklanten (consumenten en werkgevers) als toepassingen voor adviseurs. (Onder adviseurs worden alle personen verstaan die een eindklant helpen vanuit een adviserende rol, zoals adviseurs bij intermediairs, verzekeraars of geldverstrekkers.)

De Checklist-KOAT kan op verschillende manieren worden toegepast:

• Bij de start van een project geeft de checklist inzicht in welke onderwerpen aan de orde komen tijd de ontwikkeling van de toepassing.
• In de eindfase van een project vormt de checklist een middel om te evalueren of met alle zaken rekening is gehouden.
• Binnen een project kan de checklist ingezet worden om zichtbaar te maken bij wie de verschillende aspecten rond kwaliteit zijn belegd (opdrachtgever vs ontwikkelteam).
• Opdrachtgevers kunnen via de checklist een leverancier laten rapporteren over de ontwikkelde toepassing.
• Een leverancier kan op basis van de checklist rapporteren hoe met de verschillende aspecten rond kwaliteit is omgegaan.
• Voor partijen die een onbemenste toepassing als dienst / service aanbieden is de checklist een middel om te laten zien hoe de kwaliteit van de toepassing is geborgd.

Als aanvulling op de checklist biedt SIVI de mogelijkheid een review uit te voeren op de ingevulde checklist. Het laten uitvoeren van een review biedt meerwaarde voor zowel jouw organisatie als voor de sector. Voor jouw organisatie levert een review een onafhankelijke en frisse blik op de invulling van de kwaliteitsaspecten, met mogelijke aanknopingspunten voor aanscherping en verbetering. Daarnaast draagt jouw organisatie bij aan het collectieve leerproces rond de inzet van autonome toepassingen in de sector. Door ingevulde checklists te reviewen, krijgt SIVI een goed beeld van de tekortkomingen van de checklist en waar aanpassingen of aanscherpingen vereist zijn. Zo wordt het raamwerk rond kwaliteit aangescherpt en blijft het meebewegen met de ontwikkelingen in de markt.

“Waardevol om hiermee bezig te zijn. Dit  moeten we structureel inzetten bij projecten.”

– Eugen Severins (Blueriq)

Ondersteuning door SIVI

• Meer informatie over de Checklist-KOAT vind je via de links hiernaast en de veel gestelde vragen onderaan deze pagina.
• In de paper die je hiernaast kunt downloaden, lees je meer over het achterliggend onderzoek, de totstandkoming van de checklist en het gebruik ervan.
• Ook kun je de invulversie van de Checklist-KOAT hiernaast downloaden.
• Vragen kun je stellen via mail (checklist-KOAT@sivi.org) of het contact formulier hiernaast.
• Wil je begeleiding van een SIVI-consultant, stuur dan een mail (checklist-KOAT@sivi.org) of gebruik het contactformulier. We nemen zo snel mogelijk contact met je op.
• Aanvullende opmerkingen en of ideeën zijn altijd welkom!