Kennisbank Kwaliteit Onbemenste Toepassingen

Monitoren

Om de kwaliteit en actualiteit van onbemenste toepassingen te borgen is het noodzakelijk dat er binnen de organisatie medewerkers zijn die inhoudelijke kennis hebben over de correctheid van de resultaten en deze kunnen monitoren en reviewen.

Daarnaast is het noodzakelijk dat er binnen de organisatie medewerkers zijn die de technologie begrijpen en deze kunnen monitoren en reviewen op een correcte werking binnen de toepassing.

Deze sectie van de kennisbank geeft inzicht in de belangrijkste factoren die een rol spelen bij het monitoren van de correctheid en actualiteit van toepassingen.

Nr.	Titel	Omschrijving	Checklist thema('s)	Type content	Bron	Auteur(s)	Datum publicatie
2	Artificial Intelligence Impact Assesment	De Artificial Intelligence Impact Assessment (AIIA) bevat 8 concrete stappen voor organisaties om een AI assessment uit te voeren. Dit artikel van ECP beschrijft de 8 stappen die helpen bij het inzichtelijk maken van relevante juridische en ethische normen en afwegingen bij besluitvorming rondom de inzet van AI-toepassingen.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Whitepaper	ECP \| Platform voor de InformatieSamenleving		2018
5	Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims	Dit wetenschappelijk artikel beschrijft waar de huidige wet- en regelgeving tekortschiet om een verantwoorde AI-ontwikkeling te garanderen. Aanbevelingen voor AI-ontwikkelaars worden gedaan over de drie assen van Institutional Mechanisms, Software Mechanisms en Hardware Mechanisms om te komen tot een verantwoorde en betrouwbare manier van AI-ontwikkeling.	Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Paper	Cornel University	Miles Brundage	2020
7	Introducing the responsible AI Design Assistant	AI Global is een (non-profit) samenwerkingsinitiatief dat zich ten doel stelt een gezamenlijk raamwerk op te zetten voor verantwoorde Artificial Intelligence toepassingen. Een van de aangeboden tools is de Design Assistent. De Responsible AI Design Assistant is een virtuele beoordeling die ontwerpers, ontwikkelaars en producteigenaren te helpen rekening te houden met de belangrijkste AI-uitdagingen langs vijf dimensies: 1. Accountability; 2. Explainability and Interpretability; 3. Data Quality; 4. Bias and Fairness; 5. Robustness. Daarnaast biedt de Design Assistent een geautomatiseerde rapportage van de ingevulde checklist inclusief aanbevelingen en verbeterpunten.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Tool	AI Global		2020
9	Artificiële Intelligentie in de verzekeringssector een verkenning	De Autoriteit Financiële Markten (AFM) en De Nederlandsche Bank (DNB) voorzien een snel toenemende inzet van artificiële intelligentie (AI) in de Nederlandse verzekeringssector. Het is daarbij van belang dat AI wordt ingezet op een manier die verantwoord en in lijn is met de eisen rondom integere en beheerste bedrijfsvoering, productontwikkeling en zorgplicht. De AFM en DNB presenteren een verkenning met tien aandachtspunten waarop verdere verdieping noodzakelijk is.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Rapport	AFM en DNB		2019
11	New AI checklists address complexity and accountability	Dit artikel beschrijft de nieuwe (en nog in ontwikkeling zijnde) AI Checklisten van TM Forum. De AI-checklisten richten zich op zes fasen van AI-acceptatie: inkoop, pre-ontwikkeling, post-ontwikkeling, implementatie, in-life en end of life. Elke fase kent eigen doelen en daarmee normen die gevolgd moeten worden.	Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Artikel	TM Forum	Dawn Bushuis	2020
21	Ethics guidelines for trustworthy AI	De ethische richtlijnen voor betrouwbare AI is een document waarin de zeven belangrijkste eisen staan waaraan het AI systeem moet voldoen om betrouwbaar te zijn, voor alle belanghebbenden in de levenscyclus van het AI systeem: ontwikkelaars, gebruikers, eindgebruikers en de maatschappij.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Whitepaper	Europese Commissie		2018
23	AI in Control	KPMG voorziet organisaties van advies en audits over de werking van AI systemen. AI In Control is een set van op maat gemaakte diensten om AI gecontroleerd en beheerst te implementeren: AI risk assessment, Algoritme-review, AI In Control walk along en AI Volwassenheidsscan. Met deze diensten voert KPMG onafhankelijke reviews uit en legt (mogelijke) kwetsbaarheden en risico’s bloot. In dit artikel worden voor de verschillende diensten van KPMG de inhoud en resultaten uiteengezet.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Artikel	KPMG		2020
24	Ethische code Artificial intelligence	De ethische gedragscode van NLdigital bestaat uit 8 algemene uitgangspunten voor de ICT-sector. Het is een verdieping op de 7 principes en richtsnoeren van de EU, geldend voor de leden van de NLdigital (digitale sector in Nederland).	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Artikel	NLdigital		2020
25	Het Algoritme Keurmerk	Het algoritme keurmerk heeft als doel om de transparantie en de zekerheid op het gebied van algoritmes te vergroten. Dit toetsingskader is ontwikkeld door VKA en Totta Data Lab en helpt organisaties bij het toetsen of het algoritme goed is gebouwd, goed wordt beheerd en goed wordt gebruikt. Het toetsingskader kent 8 onderdelen, waarin 60 taktische en opterationele richtlijnen worden beschreven. Dit artikel geeft algemene uitleg over het algoritme keurmerk.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Artikel	VKA & Totta Data Lab		2018
33	Managing algorithmic risks - Deloitte	Dit whitepaper beschrijft de belangrijkste risico's die ontstaan bij het inzetten bij algoritmes voor (semi-)geautomatiseerde toepassingen. Een raamwerk voor algoritmisch risicobeheer is geïntroduceerd om inzicht te krijgen in de kwetsbaarheden, de impact te bepalen van de risico's op de organisatie en de onderliggende factoren die ze veroorzaken. Daarnaast worden facetten besproken waaraan een organisatie invulling moet geven voor een effectief risicobeheer bij de inzet van algoritmes.	Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	whitepaper			2017
38	Semantically Enhanced Software Traceability Using Deep Learning Techniques	Traceerbaarheid en deep learning staan op gespannen voet. Voor het vergroten van betrouwbaarheid en veiligheid, wordt de noodzak van traceerbaarheid in software voorgeschreven. In dit paper wordt een model beschreven hoe geautomatiseerd en door middel van deep learning traceerbaarheidslinks te genereren.	Risico's van de toepassing; monitoren	paper			2017
50	Examen voor de Robo-adviseur?	In dit whitepaper beschrijft SIVI een verkenning naar de invoering van een branchebreed kwaliteitssysteem voor toetsing van autonome toepassingen. Het kwaliteitssysteem moet een normenkader bieden voor het borgen van het klantbelang rond de inzet van autonome toepassingen. Het doel is tweeledig: aantoonbaar voldoen aan de wetgeving en borgen van de juiste inzet van de technologie. SIVI start met dit paper de discussie over de invulling van het kwaliteitssysteem.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	whitepaper	SIVI		2017