Geïnspireerd op menselijk probleemoplossend gedrag
De snelle ontwikkeling van nieuwe en complexe software binnen het almaar groeiende aanbod van digitale producten brengt uitdagingen met zich mee om deze goed en grondig te testen. Het EVI-project wil dit probleem verhelpen door machine learning-algoritmen te ontwikkelen voor automatische softwaretests, geïnspireerd door hoe mensen fouten vinden. Frits Vaandrager: “Mensen leren vaak hoe een nieuw apparaat werkt door ermee te spelen – zoals verschillende knopjes op een camera uitproberen – en ontdekken zo ontwerpfouten, denk aan een probleem met de gebruikersinterface. Onze algoritmen leren hoe een apparaat werkt tijdens het testen en zijn constant alert op softwarebugs.”
Black-box testing
Het EVI-project gaat zich richten op fundamentele onderzoeksvragen binnen de zogeheten ‘black-box testing’ methode van reactieve systemen, waarbij de focus ligt op het gedrag van de interface zonder de interne werking te onderzoeken. In tegenstelling tot het traditionele ‘model-based testing’, waarbij gespecialiseerde expertise nodig is om modellen te maken, maakt black-box checking gebruik van een actief modelleeralgoritme om automatisch hypothesemodellen samen te stellen op basis van testresultaten. Dit vermindert de noodzaak voor menselijke modelleerexpertise en stelt testers in staat om eisen van hoger niveau te stellen. Het systeem verifieert vervolgens of het geleerde model aan deze eisen voldoet, wat de automatisering en effectiviteit bij het detecteren van softwarebugs verbetert, inclusief bugs die vaak gemist worden door andere tools.
Samenwerking
Het project is een samenwerkingsverband tussen de Radboud Universiteit en de Universiteit Twente en zal vijf jaar duren. Frits Vaandrager brengt zijn uitgebreide expertise in algoritmen voor modelleren in. Zijn werk leidde eerder al tot belangrijke ontwikkelingen, zoals het identificeren van standaardovertredingen in netwerkprotocollen en legacysoftware. Mede-indiener dr. Petra van den Bos van de Universiteit Twente vult het project aan met haar specialisme in modelgebaseerde tests en testgeneratiealgoritmen.
Daarnaast stelt de beurs de aanstelling van twee promovendi, een programmeur en verschillende student-assistenten in staat om onderzoek en outreach uit te voeren.
Maatschappelijke impact
Dit onderzoek belooft de automatische softwaretesting te revolutioneren, waardoor software-ingenieurs sneller en efficiënter meer bugs kunnen opsporen. De NWO-ENW M-beurs erkent de potentiële impact van dit werk op de industrie en het bredere veld van software-engineering. Vaandrager: “Het cruciale belang van softwaretesten werd eerder deze maand geïllustreerd toen CrowdStrike, een cybersecuritybedrijf, een gebrekkige software-update uitbracht die 8,5 miljoen Windows-machines uitschakelde. De kosten van deze wereldwijde storing kunnen gemakkelijk meer dan $1 miljard bedragen. In een Post Incident Review (PIR) dat deze week is gepubliceerd, wijt Crowdstrike de fout aan een bug in hun testsoftware die de gebrekkige update niet goed valideerde.”
