Zoek in de site...

22|02|14 Can We Trust Self-learning AI? | Lecture by AI-researcher Pim Haselager

Can We Trust Self-learning AI? | Lecture by AI-researcher Pim HaselagerCan We Trust Self-learning AI? | Lecture by AI-researcher Pim Haselager | Monday 14 February 2022 | 20.00 – 21.30 hrs. | LUX, Nijmegen and online | Radboud Reflects and Donders Institute

VideoPodcast

"Een fenomenaal boeiend thema. Zet je echt aan het denken." (Uit een deelnemersevaluatie)

Announcement - Assigning an insurance policy, detecting skin cancer and tracing potential criminals. More and more we depend on the decisions of self-learning AI, because of its great efficiency to recognize patterns in data. There is, however, a problem: even experts often don’t know how the decisions of these systems are made. Learn from  AI-expert Pim Haselager about  the role of self-learning AI in our societies. See the full announcement below.

Aankondiging - Een verzekering toekennen, het opsporen van huidkanker en het speuren naar potentiële misdadigers. We vertrouwen steeds meer op de beslissingen van zelflerende AI, omdat het bijzonder effectief patronen herkent in data. Er is echter een probleem: zelfs experts weten vaak niet meer hoe deze systemen beslissingen maken. Kom luisteren naar AI-deskundige Pim Haselager en denk mee over de rol van zelflerende AI in onze samenleving. Zie de volledige aankondigingstekst onderin.

Verslag - Kunnen we zelflerende AI vertrouwen?

Zelflerende artificial intelligence (AI) wordt voor steeds meer toepassingen ingezet. Zo worden AI-systemen gebruikt om huidkanker te detecteren en om auto’s zelf te laten rijden. Ook in besluitvormingsprocessen wordt AI toegepast. Belangrijke beslissingen, zoals of iemand een hypotheek mag afsluiten, worden door AI ondersteund. Kunnen we deze beslissingen wel vertrouwen? Hoe kan het eigenlijk dat mensen systemen bouwen die beslissingen maken terwijl we niet begrijpen hoe die systemen tot een beslissing komen? Over deze vragen ging filosoof Marc Slors in gesprek met Pim Haselager, hoogleraar Maatschappelijke Implicaties van Kunstmatige Intelligentie aan de Radboud Universiteit en het Donders Instituut. Het programma van Radboud Reflects en het Donders Instituut ving aan met een korte lezing van Slors, waarin hij de werking van een AI-systeem illustreerde aan de hand van een voorbeeld. Vervolgens gaf Haselager een kijkje in de binnenkant van een kunstmatig neuraal netwerk. Hij legde bovendien uit hoe AI zelf ingezet kan worden om AI begrijpelijker te maken.

Marc Slors - TedVA

Neurale netwerken

Om vast te stellen of we AI kunnen vertrouwen, moeten we weten wat ze precies doet. Slors: “Beslissingen zijn gebaseerd op redenen. Als een computer een beslissing maakt, moet hij kunnen uitleggen wat deze redenen zijn. In het soort AI dat nu het meest wordt gebruikt, is dat vrijwel onmogelijk.”

Hoe dit kan, legde Slors uit aan de hand van een voorbeeld waarin AI werd gebruikt om zeemijnen op de bodem van een haven te onderscheiden van gewone stenen. Slors: “Een onderzeeër kan met sonar de bodem afspeuren. Je kunt proberen uit de weerkaatsing van het geluid een vingerafdruk te vinden waaraan je de zeemijnen kunt herkennen.” Volgens Slors zijn mensen niet in staat deze vingerafdruk te vinden. Maar een kunstmatig neuraal netwerk, een veelgebruikt type AI, kan dat wel. Slors: “Een kunstmatig neuraal netwerk is geïnspireerd op biologische neuronen. Verschillende kunstmatige neuronen hebben verschillende activatiewaarden. De verbindingen tussen neuronen hebben bovendien verschillende zwaarten. Daardoor reageren sommige neuronen wel op een bepaalde invoer en andere niet.”

Met deze bouwstenen is het mogelijk een netwerk te bouwen van verschillende lagen. “Met een wiskundige leerregel worden de zwaarten tussen de neuronen steeds een beetje aangepast,” aldus Slors. “Door dit iteratieve proces leert het model steeds beter de zeemijnen en stenen te herkennen. Er komt dus geen mens aan het leerproces te pas.”

Model blijft uitleg verschuldigd

Wat voor informatie representeren de verschillende lagen van het neurale netwerk? Dat is niet zo eenvoudig vast te stellen, betoogde Haselager. “In neurale netwerken hebben we vaak honderden dimensies. De verborgen lagen tussen de invoer en uitvoer van het model representeren informatie, maar wij mensen kunnen die informatie niet goed identificeren.”

Haselager vervolgde: “Vergeleken met andere beslismodellen hebben neurale netwerken een zeer hoge nauwkeurigheid van voorspelling. Daarom worden ze veel ingezet. Ze zijn echter bijzonder slecht in het verklaren van hun voorspellingen.”

Pim Haselager - TedVA

Maatschappelijke gevolgen

Volgens Haselager is de slechte verklaarbaarheid van AI-modellen niet alleen een probleem voor wetenschappers, maar ook voor de samenleving. Haselager: “Steeds meer van onze besluitvorming wordt door algoritmes ondersteund. Dit leidt tot serieuze problemen voor de legitimiteit van het beslissingsproces.”

Haselager kaartte twee van deze problemen aan: “Ten eerste is de informatie die bedrijven en overheden van ons hebben vaak verborgen. We hebben geen toegang tot deze enorme databases. Zelfs als we die toegang wel hebben, zou er te veel informatie voor ons zijn om te verwerken.” Hij vervolgde: “Ten tweede is er een gebrek aan transparantie. We kunnen niet zien wat er in het midden van het model gebeurt.”

Haselager stelde dat de problemen weliswaar meer aandacht krijgen, maar dat is nog niet voldoende. Als voorbeeld gaf hij een medisch expert die AI gebruikt bij het vaststellen van een diagnose. Haselager: “Er is een mens in the loop die de beslissing van de machine moet bekrachtigen. Maar als het systeem bij de afgelopen honderd patiënten de juiste diagnose heeft gesteld, is de kans groot dat de expert bij de volgende patiënt de machine ook vertrouwt. Er is dan wel een mens in het proces betrokken, maar die maskeert slechts de macht die AI-systemen over mensen hebben.”

Pim Haselager Marc Slors - TedVA

AI verbeteren met AI

Tot slot stelde Haselager dat alleen AI de problemen kan oplossen die ze zelf heeft gecreëerd. “Explainable AI (XAI) heeft als doel het ontwikkelen van systemen die de beslissingen van AI-modellen kunnen uitleggen,” aldus de hoogleraar. “XAI is geen pasklare oplossing, maar een enorm onderzoeksveld naar de mogelijkheden van uitlegbare AI.”

Hoe kan AI helpen met het geven van uitleg van haar beslissingen? Als voorbeeld projecteerde Haselager een heatmap van een afbeelding. Haselager: “Op deze heatmap kun je zien welke delen van de invoer de meeste invloed hebben op de uitvoer van een netwerk. Zo kunnen we beter begrijpen welk deel van de invoer cruciaal was voor een beslissing.”

Door: Thijs Meeuwisse

Video

Podcast

Announcement/aankondiging

Can We Trust Self-learning AI? | Lecture by AI-researcher Pim Haselager

Nederlands volgt Engels.

Assigning an insurance policy, detecting skin cancer and tracing potential criminals. More and more we depend on the decisions of self-learning AI, because of its great efficiency to recognize patterns in data. There is, however, a problem: even experts often don’t know how the decisions of these systems are made. Learn from  AI-expert Pim Haselager about  the role of self-learning AI in our societies.

Black box

You might be refused an insurance because a self-learning system detected you as a potential risk. Asking for an explanation, you will find that there often is no answer, because the AI used is a so called ‘black box’. The system searches the most efficient way to its goal and in doing so generates a great number of variables which are impossible to interpret by the human brain. The result being that the insurance company has no answer to your question and you might have to live with an unjust decision made by a computer.

Networks

Because self-learning AI is applied in a broad variety of systems, there might be more at stake in one case than in another. Not knowing how AI works when detecting skin cancer is less harmful than not knowing how AI determines potential criminals. But in the meantime, AI is being applied in almost all aspects of society. AI-expert Pim Haselager explains how neural networks – the basis of self-learning AI – work, why they are so highly effective and how broad the range of their implementations is.

Blind faith

Philosopher of cognition Marc Slors will kick off the evening with a practical example and poses the question: how can computers be smarter than the people who made them? Pim Haselager reflects on the advantages and the ethical implications of self-learning AI. In a conversation, both speakers will try to formulate answers to questions such as: To what extent can we trust AI blindly? And what happens from a philosophical perspective when self-learning systems become so complex that we need AI to interpret them? How does it affect our autonomy and our ability to make considered decisions?

The discussion is moderated by philosopher Marc Slors.

The program is English spoken.

About the speakers

Pim HaselagerPim Haselager is professor of Societal Implications and Artificial Intelligence at Radboud University and  Donders Institute for Brain, Cognition and Behaviour. His research focuses on the implications of cognitive neuroscience and Artificial Intelligence for human self-understanding.

Slors, MarcMarc Slors is professor of Philosophy of Mind at Radboud University. This is the area of philosophy that deals with the nature of the human mind and it's relation to brain and behaviour. He is also the scientific director of Radboud Reflects.


Subscribe to the English e-mail newsletter and be the first to know about new programming, the latest reviews, video's and more.

Nederlands

Een verzekering toekennen, het opsporen van huidkanker en het speuren naar potentiële misdadigers. We vertrouwen steeds meer op de beslissingen van zelflerende AI, omdat het bijzonder effectief patronen herkent in data. Er is echter een probleem: zelfs experts weten vaak niet meer hoe deze systemen beslissingen maken. Kom luisteren naar AI-deskundige Pim Haselager en denk mee over de rol van zelflerende AI in onze samenleving.


Black box

Het zou zomaar kunnen dat je geweigerd wordt als nieuwe klant van een verzekeraar omdat een zelflerend systeem jou ziet als risicovol. Wanneer je vraagt om een verklaring dan kan deze vaak niet gegeven worden, want de gebruikte AI is een zogenaamde ‘black box’. Het systeem zoekt de meest efficiënte weg naar zijn einddoel en  genereert daarbij een hoop variabelen, die door ons nauwelijks meer te interpreteren zijn. Het gevolg is dat de verzekeraar je eigenlijk geen uitleg kan geven en je het moet doen met een misschien wel onrechtvaardig besluit van een geautomatiseerd systeem.

Neurale netwerken

Omdat de toepassingen van zelflerende AI zo breed zijn, staat er in het ene geval meer op het spel dan in het andere. Niet weten hoe AI te werk gaat bij het opsporen van huidkanker is minder erg dan bij het speuren naar potentiële misdadigers. Inmiddels worden dit soort automatische systemen wel in bijna elk domein van onze samenleving gebruikt. AI-deskundige Pim Haselager vertelt hoe neurale netwerken – de basis van zelflerende AI – werken, waarom ze zo effectief zijn en hoe breed ze al worden toegepast.

Blind vertrouwen

Cognitiefilosoof Marc Slors trapt de avond af met een voorbeeld uit de praktijk en stelt daarbij de vraag: hoe kan het dat computers slimmer kunnen zijn dan de mensen die ze maken? Pim Haselager staat stil bij de voordelen én de ethische implicaties van self-learning AI. In een gesprek gaan beide sprekers op zoek naar antwoorden op vragen als: In hoeverre kunnen we blind vertrouwen op AI? En wat gebeurt er filosofisch gezien wanneer zelflerende systemen zo complex worden dat AI nodig is om ze te interpreteren? Wat zou dat doen met onze autonomie en het kunnen maken van weloverwogen beslissingen?

Filosoof Marc Slors is gespreksleider.

De voertaal is Engels.

Over de spreker

Pim HaselagerPim Haselager is hoogleraar Maatschappelijke implicaties van Kunstmatige Intelligentie aan de Radboud Universiteit en het Donders Institute. Zijn onderzoek richt zich op de implicaties van cognitieve neurowetenschap en artificiële intelligentie voor menselijk zelfbegrip.

Slors, MarcMarc Slors is cognitiefilosoof aan de Radboud Universiteit. Hij houdt zich bezig met vragen rond de relatie tussen brein, gedrag en de menselijke geest. Daarnaast is hij wetenschappelijk directeur van Radboud Reflects.

Kom je vaker naar de lezingen van Radboud Reflects? Dan is een Radboud Reflects-abonnement misschien interessant.

Draag je Radboud Reflects een warm hart toe? Steun ons dan met een financiële bijdrage en doneer.

Wil je op de hoogte blijven van de activiteiten van Radboud Reflects? Schrijf je dan in voor de nieuwsbrief.