Kennisbank Kwaliteit Onbemenste Toepassingen

Risico’s vanuit de toepassing

Home Kennisbank  |  Algemeen  |  Wetgeving & afspraken  |  Risico’s vanuit de toepassing  |  Testen  |  Herleidbaarheid  |  Monitoren  |  Gerelateerde initiatieven

Het inrichten van meer en steeds complexere autonome processen is mogelijk doordat men de volwassen geworden ICT-technologieën steeds beter begrijpt en kan combineren. Dit zijn meer gangbare technologieën zoals business rule engines en Robotic Process Automation, maar ook meer complexe technologieën zoals Machine Learning en Natural Language Processing.

Juist gebruik van de technologie is niet vanzelfsprekend. Elke technologie kent zijn eigen risico’s. Het is van belang om deze te onderkennen.

Deze sectie uit de kennisbank bevat bronnen die inzicht geven in de kwaliteitsaspecten en risico’s van de verschillende technologieën en hoe je hier mee kunt omgaan.

Nr. Titel Link Omschrijving Checklist thema('s) Type content Bron Auteur(s) Datum publicatie
1 Robotic process automation: 5 key trends to watch Robotic Process Automation (RPA) lijkt rijp om de komende jaren een grote vlucht te gaan nemen. In dit artikel van TechBeacon worden de belangrijkste trends beschreven op het gebied van RPA en de grootste uitdagingen die organisaties tegenkomen bij het opschalen van RPA. Risico's van de toepassing Blog TechBeacon Ericka Chickowsk 2020
2 Artificial Intelligence Impact Assesment De Artificial Intelligence Impact Assessment (AIIA) bevat 8 concrete stappen voor organisaties om een AI assessment uit te voeren. Dit artikel van ECP beschrijft de 8 stappen die helpen bij het inzichtelijk maken van relevante juridische en ethische normen en afwegingen bij besluitvorming rondom de inzet van AI-toepassingen. Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Whitepaper ECP | Platform voor de InformatieSamenleving 2018
3 Adoption and Effects of Software Engineering Best Practices in Machine Learning Dit wetenschappelijk artikel beschrijft de stand van de techniek op het gebied van de ontwikkeling, implementatie en onderhoud van machine learning softwarecomponenten. Het paper geeft een overzicht van best practices (met hyperlinks) die gebruikt kunnen worden door Machine Learning softwareontwikkelaars om hun ontwikkelingsproces te verbeteren. Inzichten zijn gerubriceerd per aandachtsgebied: Data, Training, Coding, Deployment, Team en Governance. Risico's van de toepassing Paper Universiteit van Leiden Koen van der Blom; Holger Hoos; Joost Visser 2020
5 Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims Dit wetenschappelijk artikel beschrijft waar de huidige wet- en regelgeving tekortschiet om een verantwoorde AI-ontwikkeling te garanderen. Aanbevelingen voor AI-ontwikkelaars worden gedaan over de drie assen van Institutional Mechanisms, Software Mechanisms en Hardware Mechanisms om te komen tot een verantwoorde en betrouwbare manier van AI-ontwikkeling. Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Paper Cornel University Miles Brundage 2020
7 Introducing the responsible AI Design Assistant AI Global is een (non-profit) samenwerkingsinitiatief dat zich ten doel stelt een gezamenlijk raamwerk op te zetten voor verantwoorde Artificial Intelligence toepassingen. Een van de aangeboden tools is de Design Assistent. De Responsible AI Design Assistant is een virtuele beoordeling die ontwerpers, ontwikkelaars en producteigenaren te helpen rekening te houden met de belangrijkste AI-uitdagingen langs vijf dimensies: 1. Accountability; 2. Explainability and Interpretability; 3. Data Quality; 4. Bias and Fairness; 5. Robustness. Daarnaast biedt de Design Assistent een geautomatiseerde rapportage van de ingevulde checklist inclusief aanbevelingen en verbeterpunten. Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Tool AI Global 2020
9 Artificiële Intelligentie in de verzekeringssector een verkenning De Autoriteit Financiële Markten (AFM) en De Nederlandsche Bank (DNB) voorzien een snel toenemende inzet van artificiële intelligentie (AI) in de Nederlandse verzekeringssector. Het is daarbij van belang dat AI wordt ingezet op een manier die verantwoord en in lijn is met de eisen rondom integere en beheerste bedrijfsvoering, productontwikkeling en zorgplicht. De AFM en DNB presenteren een verkenning met tien aandachtspunten waarop verdere verdieping noodzakelijk is. Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Rapport AFM en DNB 2019
11 New AI checklists address complexity and accountability Dit artikel beschrijft de nieuwe (en nog in ontwikkeling zijnde) AI Checklisten van TM Forum. De AI-checklisten richten zich op zes fasen van AI-acceptatie: inkoop, pre-ontwikkeling, post-ontwikkeling, implementatie, in-life en end of life. Elke fase kent eigen doelen en daarmee normen die gevolgd moeten worden. Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Artikel TM Forum Dawn Bushuis 2020
21 Ethics guidelines for trustworthy AI De ethische richtlijnen voor betrouwbare AI is een document waarin de zeven belangrijkste eisen staan waaraan het AI systeem moet voldoen om betrouwbaar te zijn, voor alle belanghebbenden in de levenscyclus van het AI systeem: ontwikkelaars, gebruikers, eindgebruikers en de maatschappij. Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Whitepaper Europese Commissie 2018
22 Data Ethics Decision Aid (DEDA) DEDA helpt data-analisten, projectmanagers en beleidsmakers om ethische problemen in dataprojecten, datamanagement en databeleid te herkennen. DEDA is ontwikkeld door de Utrecht Data School en bestaat uit een toolkit die helpt bij het in kaart brengen van ethische kwesties bij dataprojecten, bij het documenteren van het beraadslagingsproces en bij de bevordering van de verantwoording aan de diverse stakeholders en het publiek. Wetgeving en afspraken; Risico's van de toepassing Toolkit; Workshop Utrecht Data School 2019
23 AI in Control KPMG voorziet organisaties van advies en audits over de werking van AI systemen. AI In Control is een set van op maat gemaakte diensten om AI gecontroleerd en beheerst te implementeren: AI risk assessment, Algoritme-review, AI In Control walk along en AI Volwassenheidsscan. Met deze diensten voert KPMG onafhankelijke reviews uit en legt (mogelijke) kwetsbaarheden en risico’s bloot. In dit artikel worden voor de verschillende diensten van KPMG de inhoud en resultaten uiteengezet. Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Artikel KPMG 2020
24 Ethische code Artificial intelligence De ethische gedragscode van NLdigital bestaat uit 8 algemene uitgangspunten voor de ICT-sector. Het is een verdieping op de 7 principes en richtsnoeren van de EU, geldend voor de leden van de NLdigital (digitale sector in Nederland). Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Artikel NLdigital 2020
25 Het Algoritme Keurmerk Het algoritme keurmerk heeft als doel om de transparantie en de zekerheid op het gebied van algoritmes te vergroten. Dit toetsingskader is ontwikkeld door VKA en Totta Data Lab en helpt organisaties bij het toetsen of het algoritme goed is gebouwd, goed wordt beheerd en goed wordt gebruikt. Het toetsingskader kent 8 onderdelen, waarin 60 taktische en opterationele richtlijnen worden beschreven. Dit artikel geeft algemene uitleg over het algoritme keurmerk. Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren Artikel VKA & Totta Data Lab 2018
26 FRR Quality Mark for Robotics & Artificial Intelligence Het doel van het FRR Quality Mark for Robotics & Artificial Intelligence keurmerk is ervoor te zorgen dat robots en op AI gebaseerde producten op een verantwoorde manier worden ontwikkeld, waarbij rekening wordt gehouden met mensenrechten en waarden. Dit keurmerk is ontwikkeld door Deloitte & Foundation for Responsible Robotics. Dit artikel beschrijft de ontwikkeling van het framework dat hieraan ten grondslag ligt. Wetgeving en afspraken; Risico's van de toepassing Artikel Deloitte & Foundation for Responsible Robotics 2018
27 Open Ethics (Label) Open Ethics beheert en host projecten die bijdragen aan het transparantie-ecosysteem voor AI toepassingen. Enige afgerond project is Label. Label is een set van iconen, bedoeld om informatie te verstrekken over trainingsdata, broncode en soort beslissing, om transparantie te brengen en vertrouwen te vergroten bij gebruikers. Via een online tool kan een Open Ethics Label automatisch worden gegenereerd. Andere projecten (in ontwikkeling): Transparency Protocol, Explainability Protocol en Maturity Model. Risico's van de toepassing Artikel; tool Open Ethics 2020
28 Algoritmewijzer De Algoritmewijzer informeert de gebruiker van een onlinedienst snel en overzichtelijk wanneer er een algoritme wordt gebruikt. Naar analogie van de Kijkwijzer krijgen gebruikers doormiddel van symbolen in één oogopslag inzicht in de belangrijkste kenmerken van het algoritme en de gebruikte data. Doel is om Bewustwording en kennis bij burgers vergroten rond de inzet van algoritmes. Voor orgnisaties geeft het invulling te geven aan de maatschappelijke verantwoording rondom de inzet van data en algoritmes. Risico's van de toepassing Artikel InnoValor 2020
29 Algoritmeregister Het algoritmeregister geeft overzicht van de algoritmes die een organisatie gebruikt bij haar dienstverlening. Het algoritmeregister beschrijft het doel, de werking van en gedetailleerde technische informatie over het algoritme. Gemeente Amsterdam heeft samen met Helsinki het register ontwikkeld en toegepast op haar eigen dienstverlening. Doel is om dit breder in te zetten binnen de overheid. Risico's van de toepassing Register Gemeente Amsterdam 2020
33 Managing algorithmic risks - Deloitte Dit whitepaper beschrijft de belangrijkste risico's die ontstaan bij het inzetten bij algoritmes voor (semi-)geautomatiseerde toepassingen. Een raamwerk voor algoritmisch risicobeheer is geïntroduceerd om inzicht te krijgen in de kwetsbaarheden, de impact te bepalen van de risico's op de organisatie en de onderliggende factoren die ze veroorzaken. Daarnaast worden facetten besproken waaraan een organisatie invulling moet geven voor een effectief risicobeheer bij de inzet van algoritmes. Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren whitepaper 2017
34 Issues and Challenges in Business Rule Based Information Systems Het beheersbaar houden van business rules tijdens mutaties is een bekende en oude uitdaging. Dit paper beschrijft de belangrijkste uitdagingen die opkomen tijdens verschillende fases - zoals verwervern, specificeren, implementeren en beheer - en waar mogelijk aanwijzingen te geven voor mogelijke oplossingen. Risico's van de toepassing paper 2005
36 Issues and Challenges of Business Rules Modeling in Software Systems for Business Management De paper behandelt de uitdagingen die komen kijken bij het modelleren van business rules, met een focus op business rules in Unified Modeling Language (UML) -modellen. Risico's van de toepassing paper 2014
37 Identifying Challenges in Business Rules Management Om beslissingen te beheren en onderliggende business rules, is een toenemend aantal organisaties begonnen met het beheer van deze business rules, oftewel: business rules management: BRM). Dit paper beschrijft de 28 belangrijkste uitdagingen die geïdentificeerd zijn waarmee vijf Nederlandse overheidsinstellingen te maken hebben bij het ontwerpen en specificeren van business rules. Risico's van de toepassing paper 2018
38 Semantically Enhanced Software Traceability Using Deep Learning Techniques Traceerbaarheid en deep learning staan op gespannen voet. Voor het vergroten van betrouwbaarheid en veiligheid, wordt de noodzak van traceerbaarheid in software voorgeschreven. In dit paper wordt een model beschreven hoe geautomatiseerd en door middel van deep learning traceerbaarheidslinks te genereren. Risico's van de toepassing; monitoren paper 2017
39 Neural Networks for Safety-Critical Applications - Challenges, Experiments and Perspectives In dit paper wordt een methodologie beschreven voor het ontwerpen van betrouwbare artificiele neurale netwerken (ANN). Om betrouwbaarheid te garanderen, moeten systemen begrijpelijk, correct en valide zijn. In een case study wordt de methodologie toegepast om de werkbaarheid aan te tonen. Risico's van de toepassing paper 2017
40 Natural Language Processing - State of The Art, Current Trends and Challenges Natuurlijke taalverwerking (NLP) heeft de laatste tijd veel aandacht gekregen. NLP toepassingen worden inmiddels ingezet op verschillende gebieden, zoals bij vertalingen, detectie van e-mailspam, informatie-extractie, samenvatting, medisch, en vraag beantwoorden. Dit paper beschrijft het ontstaan ende evolutie van NLP, de huidige status van de verschillende toepassingen van NLP en huidige trends en uitdagingen. Risico's van de toepassing paper 2017
41 API vulnerabilities - current status and dependencies API (Application Programming Interface) zijn erg populair onder ontwikkelaars. API is een reeks functies en procedures waarmee een ander programma of een andere toepassing toegang kan krijgen tot kenmerken of gegevens. Veel API's zijn openbaar: zonder toestemming kan een ontwikkelaartoegang krijgen tot gegevens om een specifieke taak uit te voeren. Veel van deze API's zijn niet veilig en betrouwbaar. Dit paper beschrijft de kwetsbaarheden vandergelijke API's. Risico's van de toepassing paper 2018
42 The Forrester Wave - Robotic Process Automation Q2 2018 Volgens Gartner kan Robotic Process Automation (RPA) een snelle manier bieden voor systeemintegratie. Processen zijn niet atlijd eenvoudig of repetitief. Dit paper beschrijft strategieën om integrale automatisering mogelijk te maken. En hoe een strategische roadmap voor de lange termijn te plannen door bedrijfsdoelen op elkaar af te stemmen, processen te identificeren die moeten worden geoptimaliseerd en complementaire technologieën te kiezen. Risico's van de toepassing whitepaper 2018
43 Monitoring software maintenance project risks Om de kans op succes van softwareprojecten te vergroten, is het zo nodig om de risico's te identificeren en ze te bewaken. Verschillende risico's zijn aanwezig in het hele project. In feite is effectief risicobeheer een kritiek punt in softwareprojecten. In deze lijn stelt dit onderzoek het gebruik van een framework voor gebaseerd op IEEE 1074. Dit zal in de praktijk helpen om risicofactoren in software-onderhoudsprojecten te beheersen. Risico's van de toepassing paper 2012
49 Ten Truths of Business Rule Complexity In deze blog worden 10 geleerde lessen uit de praktijk beschreven bij het ontwikkelen van business rules. Risico's van de toepassing blog Microsoft 2015
50 Examen voor de Robo-adviseur? In dit whitepaper beschrijft SIVI een verkenning naar de invoering van een branchebreed kwaliteitssysteem voor toetsing van autonome toepassingen. Het kwaliteitssysteem moet een normenkader bieden voor het borgen van het klantbelang rond de inzet van autonome toepassingen. Het doel is tweeledig: aantoonbaar voldoen aan de wetgeving en borgen van de juiste inzet van de technologie. SIVI start met dit paper de discussie over de invulling van het kwaliteitssysteem. Wetgeving en afspraken; Risico's van de toepassing; Testen; Herleidbaarheid; Monitoren whitepaper SIVI 2017
53 Tools for Traceability in Secure Software Development Voor een veilige en betrouwbare ontwikkeling van softwaresystemen moet men ervoor zorgen dat de veiligheidsvereisten herleidbaar zijn tot ontwerp en uitvoering. In dit paper worden een aantal analyses van beveiligingsvereisten en traceerbaarheidsborgingstools besproken en getoond hoe ze effectief geïntegreerd kunnen worden in het ontwikkelproces. Risico's van de toepassing paper 2014