Kennisbank Kwaliteit Onbemenste Toepassingen

Risico’s vanuit de toepassing

Het inrichten van meer en steeds complexere autonome processen is mogelijk doordat men de volwassen geworden ICT-technologieën steeds beter begrijpt en kan combineren. Dit zijn meer gangbare technologieën zoals business rule engines en Robotic Process Automation, maar ook meer complexe technologieën zoals Machine Learning en Natural Language Processing.

Juist gebruik van de technologie is niet vanzelfsprekend. Elke technologie kent zijn eigen risico’s. Het is van belang om deze te onderkennen.

Deze sectie uit de kennisbank bevat bronnen die inzicht geven in de kwaliteitsaspecten en risico’s van de verschillende technologieën en hoe je hier mee kunt omgaan.

Nr.	Titel	Omschrijving	Checklist thema('s)	Type content	Bron	Auteur(s)	Datum publicatie
1	Robotic process automation: 5 key trends to watch	Robotic Process Automation (RPA) lijkt rijp om de komende jaren een grote vlucht te gaan nemen. In dit artikel van TechBeacon worden de belangrijkste trends beschreven op het gebied van RPA en de grootste uitdagingen die organisaties tegenkomen bij het opschalen van RPA.	Risico's van de toepassing	Blog	TechBeacon	Ericka Chickowsk	2020
2	Artificial Intelligence Impact Assesment	De Artificial Intelligence Impact Assessment (AIIA) bevat 8 concrete stappen voor organisaties om een AI assessment uit te voeren. Dit artikel van ECP beschrijft de 8 stappen die helpen bij het inzichtelijk maken van relevante juridische en ethische normen en afwegingen bij besluitvorming rondom de inzet van AI-toepassingen.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Whitepaper	ECP \| Platform voor de InformatieSamenleving		2018
3	Adoption and Effects of Software Engineering Best Practices in Machine Learning	Dit wetenschappelijk artikel beschrijft de stand van de techniek op het gebied van de ontwikkeling, implementatie en onderhoud van machine learning softwarecomponenten. Het paper geeft een overzicht van best practices (met hyperlinks) die gebruikt kunnen worden door Machine Learning softwareontwikkelaars om hun ontwikkelingsproces te verbeteren. Inzichten zijn gerubriceerd per aandachtsgebied: Data, Training, Coding, Deployment, Team en Governance.	Risico's van de toepassing	Paper	Universiteit van Leiden	Koen van der Blom; Holger Hoos; Joost Visser	2020
5	Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims	Dit wetenschappelijk artikel beschrijft waar de huidige wet- en regelgeving tekortschiet om een verantwoorde AI-ontwikkeling te garanderen. Aanbevelingen voor AI-ontwikkelaars worden gedaan over de drie assen van Institutional Mechanisms, Software Mechanisms en Hardware Mechanisms om te komen tot een verantwoorde en betrouwbare manier van AI-ontwikkeling.	Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Paper	Cornel University	Miles Brundage	2020
7	Introducing the responsible AI Design Assistant	AI Global is een (non-profit) samenwerkingsinitiatief dat zich ten doel stelt een gezamenlijk raamwerk op te zetten voor verantwoorde Artificial Intelligence toepassingen. Een van de aangeboden tools is de Design Assistent. De Responsible AI Design Assistant is een virtuele beoordeling die ontwerpers, ontwikkelaars en producteigenaren te helpen rekening te houden met de belangrijkste AI-uitdagingen langs vijf dimensies: 1. Accountability; 2. Explainability and Interpretability; 3. Data Quality; 4. Bias and Fairness; 5. Robustness. Daarnaast biedt de Design Assistent een geautomatiseerde rapportage van de ingevulde checklist inclusief aanbevelingen en verbeterpunten.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Tool	AI Global		2020
9	Artificiële Intelligentie in de verzekeringssector een verkenning	De Autoriteit Financiële Markten (AFM) en De Nederlandsche Bank (DNB) voorzien een snel toenemende inzet van artificiële intelligentie (AI) in de Nederlandse verzekeringssector. Het is daarbij van belang dat AI wordt ingezet op een manier die verantwoord en in lijn is met de eisen rondom integere en beheerste bedrijfsvoering, productontwikkeling en zorgplicht. De AFM en DNB presenteren een verkenning met tien aandachtspunten waarop verdere verdieping noodzakelijk is.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Rapport	AFM en DNB		2019
11	New AI checklists address complexity and accountability	Dit artikel beschrijft de nieuwe (en nog in ontwikkeling zijnde) AI Checklisten van TM Forum. De AI-checklisten richten zich op zes fasen van AI-acceptatie: inkoop, pre-ontwikkeling, post-ontwikkeling, implementatie, in-life en end of life. Elke fase kent eigen doelen en daarmee normen die gevolgd moeten worden.	Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Artikel	TM Forum	Dawn Bushuis	2020
21	Ethics guidelines for trustworthy AI	De ethische richtlijnen voor betrouwbare AI is een document waarin de zeven belangrijkste eisen staan waaraan het AI systeem moet voldoen om betrouwbaar te zijn, voor alle belanghebbenden in de levenscyclus van het AI systeem: ontwikkelaars, gebruikers, eindgebruikers en de maatschappij.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Whitepaper	Europese Commissie		2018
22	Data Ethics Decision Aid (DEDA)	DEDA helpt data-analisten, projectmanagers en beleidsmakers om ethische problemen in dataprojecten, datamanagement en databeleid te herkennen. DEDA is ontwikkeld door de Utrecht Data School en bestaat uit een toolkit die helpt bij het in kaart brengen van ethische kwesties bij dataprojecten, bij het documenteren van het beraadslagingsproces en bij de bevordering van de verantwoording aan de diverse stakeholders en het publiek.	Wetgeving en afspraken; Risico's van de toepassing	Toolkit; Workshop	Utrecht Data School		2019
23	AI in Control	KPMG voorziet organisaties van advies en audits over de werking van AI systemen. AI In Control is een set van op maat gemaakte diensten om AI gecontroleerd en beheerst te implementeren: AI risk assessment, Algoritme-review, AI In Control walk along en AI Volwassenheidsscan. Met deze diensten voert KPMG onafhankelijke reviews uit en legt (mogelijke) kwetsbaarheden en risico’s bloot. In dit artikel worden voor de verschillende diensten van KPMG de inhoud en resultaten uiteengezet.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Artikel	KPMG		2020
24	Ethische code Artificial intelligence	De ethische gedragscode van NLdigital bestaat uit 8 algemene uitgangspunten voor de ICT-sector. Het is een verdieping op de 7 principes en richtsnoeren van de EU, geldend voor de leden van de NLdigital (digitale sector in Nederland).	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Artikel	NLdigital		2020
25	Het Algoritme Keurmerk	Het algoritme keurmerk heeft als doel om de transparantie en de zekerheid op het gebied van algoritmes te vergroten. Dit toetsingskader is ontwikkeld door VKA en Totta Data Lab en helpt organisaties bij het toetsen of het algoritme goed is gebouwd, goed wordt beheerd en goed wordt gebruikt. Het toetsingskader kent 8 onderdelen, waarin 60 taktische en opterationele richtlijnen worden beschreven. Dit artikel geeft algemene uitleg over het algoritme keurmerk.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	Artikel	VKA & Totta Data Lab		2018
26	FRR Quality Mark for Robotics & Artificial Intelligence	Het doel van het FRR Quality Mark for Robotics & Artificial Intelligence keurmerk is ervoor te zorgen dat robots en op AI gebaseerde producten op een verantwoorde manier worden ontwikkeld, waarbij rekening wordt gehouden met mensenrechten en waarden. Dit keurmerk is ontwikkeld door Deloitte & Foundation for Responsible Robotics. Dit artikel beschrijft de ontwikkeling van het framework dat hieraan ten grondslag ligt.	Wetgeving en afspraken; Risico's van de toepassing	Artikel	Deloitte & Foundation for Responsible Robotics		2018
27	Open Ethics (Label)	Open Ethics beheert en host projecten die bijdragen aan het transparantie-ecosysteem voor AI toepassingen. Enige afgerond project is Label. Label is een set van iconen, bedoeld om informatie te verstrekken over trainingsdata, broncode en soort beslissing, om transparantie te brengen en vertrouwen te vergroten bij gebruikers. Via een online tool kan een Open Ethics Label automatisch worden gegenereerd. Andere projecten (in ontwikkeling): Transparency Protocol, Explainability Protocol en Maturity Model.	Risico's van de toepassing	Artikel; tool	Open Ethics		2020
28	Algoritmewijzer	De Algoritmewijzer informeert de gebruiker van een onlinedienst snel en overzichtelijk wanneer er een algoritme wordt gebruikt. Naar analogie van de Kijkwijzer krijgen gebruikers doormiddel van symbolen in één oogopslag inzicht in de belangrijkste kenmerken van het algoritme en de gebruikte data. Doel is om Bewustwording en kennis bij burgers vergroten rond de inzet van algoritmes. Voor orgnisaties geeft het invulling te geven aan de maatschappelijke verantwoording rondom de inzet van data en algoritmes.	Risico's van de toepassing	Artikel	InnoValor		2020
29	Algoritmeregister	Het algoritmeregister geeft overzicht van de algoritmes die een organisatie gebruikt bij haar dienstverlening. Het algoritmeregister beschrijft het doel, de werking van en gedetailleerde technische informatie over het algoritme. Gemeente Amsterdam heeft samen met Helsinki het register ontwikkeld en toegepast op haar eigen dienstverlening. Doel is om dit breder in te zetten binnen de overheid.	Risico's van de toepassing	Register	Gemeente Amsterdam		2020
33	Managing algorithmic risks - Deloitte	Dit whitepaper beschrijft de belangrijkste risico's die ontstaan bij het inzetten bij algoritmes voor (semi-)geautomatiseerde toepassingen. Een raamwerk voor algoritmisch risicobeheer is geïntroduceerd om inzicht te krijgen in de kwetsbaarheden, de impact te bepalen van de risico's op de organisatie en de onderliggende factoren die ze veroorzaken. Daarnaast worden facetten besproken waaraan een organisatie invulling moet geven voor een effectief risicobeheer bij de inzet van algoritmes.	Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	whitepaper			2017
34	Issues and Challenges in Business Rule Based Information Systems	Het beheersbaar houden van business rules tijdens mutaties is een bekende en oude uitdaging. Dit paper beschrijft de belangrijkste uitdagingen die opkomen tijdens verschillende fases - zoals verwervern, specificeren, implementeren en beheer - en waar mogelijk aanwijzingen te geven voor mogelijke oplossingen.	Risico's van de toepassing	paper			2005
36	Issues and Challenges of Business Rules Modeling in Software Systems for Business Management	De paper behandelt de uitdagingen die komen kijken bij het modelleren van business rules, met een focus op business rules in Unified Modeling Language (UML) -modellen.	Risico's van de toepassing	paper			2014
37	Identifying Challenges in Business Rules Management	Om beslissingen te beheren en onderliggende business rules, is een toenemend aantal organisaties begonnen met het beheer van deze business rules, oftewel: business rules management: BRM). Dit paper beschrijft de 28 belangrijkste uitdagingen die geïdentificeerd zijn waarmee vijf Nederlandse overheidsinstellingen te maken hebben bij het ontwerpen en specificeren van business rules.	Risico's van de toepassing	paper			2018
38	Semantically Enhanced Software Traceability Using Deep Learning Techniques	Traceerbaarheid en deep learning staan op gespannen voet. Voor het vergroten van betrouwbaarheid en veiligheid, wordt de noodzak van traceerbaarheid in software voorgeschreven. In dit paper wordt een model beschreven hoe geautomatiseerd en door middel van deep learning traceerbaarheidslinks te genereren.	Risico's van de toepassing; monitoren	paper			2017
39	Neural Networks for Safety-Critical Applications - Challenges, Experiments and Perspectives	In dit paper wordt een methodologie beschreven voor het ontwerpen van betrouwbare artificiele neurale netwerken (ANN). Om betrouwbaarheid te garanderen, moeten systemen begrijpelijk, correct en valide zijn. In een case study wordt de methodologie toegepast om de werkbaarheid aan te tonen.	Risico's van de toepassing	paper			2017
40	Natural Language Processing - State of The Art, Current Trends and Challenges	Natuurlijke taalverwerking (NLP) heeft de laatste tijd veel aandacht gekregen. NLP toepassingen worden inmiddels ingezet op verschillende gebieden, zoals bij vertalingen, detectie van e-mailspam, informatie-extractie, samenvatting, medisch, en vraag beantwoorden. Dit paper beschrijft het ontstaan ende evolutie van NLP, de huidige status van de verschillende toepassingen van NLP en huidige trends en uitdagingen.	Risico's van de toepassing	paper			2017
41	API vulnerabilities - current status and dependencies	API (Application Programming Interface) zijn erg populair onder ontwikkelaars. API is een reeks functies en procedures waarmee een ander programma of een andere toepassing toegang kan krijgen tot kenmerken of gegevens. Veel API's zijn openbaar: zonder toestemming kan een ontwikkelaartoegang krijgen tot gegevens om een specifieke taak uit te voeren. Veel van deze API's zijn niet veilig en betrouwbaar. Dit paper beschrijft de kwetsbaarheden vandergelijke API's.	Risico's van de toepassing	paper			2018
42	The Forrester Wave - Robotic Process Automation Q2 2018	Volgens Gartner kan Robotic Process Automation (RPA) een snelle manier bieden voor systeemintegratie. Processen zijn niet atlijd eenvoudig of repetitief. Dit paper beschrijft strategieën om integrale automatisering mogelijk te maken. En hoe een strategische roadmap voor de lange termijn te plannen door bedrijfsdoelen op elkaar af te stemmen, processen te identificeren die moeten worden geoptimaliseerd en complementaire technologieën te kiezen.	Risico's van de toepassing	whitepaper			2018
43	Monitoring software maintenance project risks	Om de kans op succes van softwareprojecten te vergroten, is het zo nodig om de risico's te identificeren en ze te bewaken. Verschillende risico's zijn aanwezig in het hele project. In feite is effectief risicobeheer een kritiek punt in softwareprojecten. In deze lijn stelt dit onderzoek het gebruik van een framework voor gebaseerd op IEEE 1074. Dit zal in de praktijk helpen om risicofactoren in software-onderhoudsprojecten te beheersen.	Risico's van de toepassing	paper			2012
49	Ten Truths of Business Rule Complexity	In deze blog worden 10 geleerde lessen uit de praktijk beschreven bij het ontwikkelen van business rules.	Risico's van de toepassing	blog	Microsoft		2015
50	Examen voor de Robo-adviseur?	In dit whitepaper beschrijft SIVI een verkenning naar de invoering van een branchebreed kwaliteitssysteem voor toetsing van autonome toepassingen. Het kwaliteitssysteem moet een normenkader bieden voor het borgen van het klantbelang rond de inzet van autonome toepassingen. Het doel is tweeledig: aantoonbaar voldoen aan de wetgeving en borgen van de juiste inzet van de technologie. SIVI start met dit paper de discussie over de invulling van het kwaliteitssysteem.	Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren	whitepaper	SIVI		2017
53	Tools for Traceability in Secure Software Development	Voor een veilige en betrouwbare ontwikkeling van softwaresystemen moet men ervoor zorgen dat de veiligheidsvereisten herleidbaar zijn tot ontwerp en uitvoering. In dit paper worden een aantal analyses van beveiligingsvereisten en traceerbaarheidsborgingstools besproken en getoond hoe ze effectief geïntegreerd kunnen worden in het ontwikkelproces.	Risico's van de toepassing	paper			2014