Foto van Muskan Achhpilia  & Karen De Meyst
Foto van Muskan Achhpilia  & Karen De Meyst

ChatGPT op de proef gesteld: hoe presteert het AI-programma bij het boekhoudtentamen?

Docenten Accounting Karen de Meyst en Muskan Achhpilia hebben onlangs bijgedragen aan een uniek samenwerkingsonderzoek waarbij ChatGPT duizenden boekhoudkundige toetsvragen kreeg voorgeschoteld om te kijken hoe het zou presteren. Hoewel de AI-chatbot grotendeels zakte voor de tentamens geven de resultaten aanleiding tot een dringende discussie over de toekomst van het boekhoudonderwijs. ‘Een factor die niet kan worden genegeerd.’

Al vanaf de lancering in november 2022 is ChatGPT onderwerp van discussie geweest. Verbaasd door de mogelijkheden van het programma vragen mensen in allerlei beroepen zich inmiddels af hoe dit hun baan gaat beïnvloeden. Als we alleen al kijken naar accountancy, het beheren van transacties en balansen, het maken van jaarrekeningen, het berekenen van belastingopgaves. Zijn dit niet de dingen die AI-technologie zoals ChatGPT kan gaan overnemen?

Het eenvoudige antwoord hierop is ‘nee'. Tenminste, nu nog niet, blijkt uit een uniek onderzoek onder leiding van de Amerikaanse hoogleraar Accounting, David Wood. In een samenwerkingsonderzoek met 327 co-auteurs van 18 instellingen wereldwijd besloot hij ChatGPT op de proef te stellen. De onderzoekers onderwierpen het AI-taalleermodel aan meer dan 25.000 vragen over boekhoudkundige toetsen en vergeleken de resultaten ervan met die van hun studenten.

Bijdrage van de Faculteit der Managementwetenschappen

Universitair docent Accounting Karen de Meyst, docent Accounting en Technologie Muskan Achhpilia en universitair docent Accounting Thomas Niederkofler behoren tot de 327 docenten die hebben bijgedragen aan het onlangs gepubliceerde artikel. Samen onderwijzen ze de cursus Management Accounting and Control aan de Faculteit der Managementwetenschappen. 

‘Ik zag op social media de oproep van Wood voor medewerkers aan zijn onderzoek en dacht dat het een leuk project zou zijn om aan mee te doen’, zegt De Meyst. ‘Vooral voor Muskan, want dit onderwerp past precies in haar straatje.’

Achhpilia is in januari 2022 gepromoveerd bij de vakgroep Economics & Business Economics. Haar onderzoek wordt begeleid door het hoofd van de vakgroep, Frank Hartmann, en door Karen de Meyst. Achhpilia bestudeert de manieren waarop technologische innovaties, zoals AI, de besluitvorming van bedrijven beïnvloeden. ‘Dus ja, ik was erg enthousiast toen Karen me over deze kans vertelde’, vertelt ze glimlachend.

Portret Muskan Achhpilia

Resultaten

De 327 boekhouddocenten vroegen ChatGPT om tentamenvragen uit te werken die zij voor hun specifieke tentamens hadden opgesteld. De vragen hadden betrekking op allerlei onderwerpen en varieerden zowel in moeilijkheidsgraad als in type (waar of niet waar, meerkeuzevragen, kort antwoord, enz.).

De resultaten laten zien dat ChatGPT niet beter presteerde dan de studenten. Het programma behaalde een totaalscore van 47,4%, terwijl de studenten 76,7% scoorden. ChatGPT worstelde vooral met vragen waarbij complexe redenering of kennis van wiskundige processen werd vereist.

Betekent dit dat accountants niets te vrezen hebben van ChatGPT? Nou, er spelen natuurlijk nog meer factoren een rol. Zoals het feit dat ChatGPT bij 11% van de vragen beter presteerde dan de studenten. En dat de onderzoekers de originele GPT-3 versie gebruikten, terwijl OpenAI onlangs al de sterk verbeterde GPT-4 lanceerde. ChatGPT toonde ook zijn vermogen om te leren. Toen de docenten uitlegden waarom het antwoord op een bepaalde vraag verkeerd was, toonde het programma begrip en beantwoordde het dezelfde vraag een week later wel correct.

Gebruik van ChatGPT momenteel verboden

Voordat studenten al te enthousiast worden is het misschien verstandig om op te merken dat het gebruik van ChatGPT bij opdrachten momenteel niet is toegestaan. ‘De examencommissies hebben besloten het gebruik ervan te verbieden’, zegt De Meyst. ‘We laten studenten zelfs verklaringen ondertekenen waarin staat dat ze geen gebruik zullen maken van kunstmatige intelligentie zoals ChatGPT. Dat is de situatie op dit moment.’

‘Ik denk echter dat deze regulering niet gaat zorgen voor een betrouwbare belofte van de studenten', voegt Achhpilia eraan toe. Als we kijken naar de snelheid waarmee het ChatGPT-taalmodel verbetert, lijkt het moeilijk voor te stellen dat het lang buiten het klaslokaal kan worden gehouden. De vraag is niet of het invloed gaat hebben op ons vak en het onderwijs, maar eerder hoe het invloed gaat hebben. ‘Het is een exogene schok voor het onderwijssysteem en de economie,’ zegt Achhpilia.

Portret Karen de Meyst

Hulpmiddel bij valsspelen of nuttig gereedschap

Ze is het eens met de algemene toon van het artikel dat de mogelijkheden van ChatGPT veelbelovend zijn en dat technologie als deze zou kunnen helpen bij het vormgeven van de toekomst van het boekhoudonderwijs. ‘Het zou studenten kunnen helpen complexe problemen op te lossen en hun begrip van accounting verder te verdiepen.’ Een voor de hand liggend bezwaar is dat studenten AI-technologie zullen gebruiken om vals te spelen, maar Achhpilia denkt dat we dat niet zo moeten zien. ‘Een goede student zal uitzoeken hoe het in zijn of haar voordeel kan worden gebruikt.’

Dat wil niet zeggen dat ze zich geen zorgen maakt. ‘Ik denk dat deze technologie de ongelijkheid zal vergroten. De betere studenten zullen leren hoe ze ChatGPT kunnen inzetten als hulpmiddel om hun eigen kennis te vergroten in plaats van als middel om vals te spelen. Terwijl studenten die toch al moeite hebben met hun lessen het misschien gaan gebruiken om tentamens af te leggen zonder er veel voor te hoeven leren.’

Vooruitblik

Een andere kwestie is de vertrouwensrelatie tussen studenten en begeleiders. Achhpilia: ‘Het is niet meer dan logisch dat docenten steeds meer aandacht zullen besteden aan mogelijke fraude met AI-hulpmiddelen. Dit kan leiden tot een sfeer van wantrouwen. En deze kwestie zal zich niet alleen voordoen in de relatie tussen studenten en docenten, maar ook bij bedrijven en de economie in het algemeen.

Vanuit dit gegeven onderzoekt Achhpilia hoe de controle-/vertrouwensrelatie tussen verschillende hoofdrolspelers bij bedrijven kan worden beïnvloed door AI. Een van de dingen die in dit opzicht belangrijk zijn om rekening mee te houden zijn de individuele voorkeuren voor wat betreft afkeer van of waardering voor het algoritme. Sommige mensen kunnen niet wachten om nieuwe technologische hulpmiddelen toe te passen, terwijl anderen liever wat voorzichtiger zijn.

Achhpilia en De Meyst zijn zelf goede voorbeelden van dit verschil. Waar Achhpilia inmiddels al gebruik maakt van AI om de toon van haar e-mails te optimaliseren, is De Meyst nog niet zo gretig om AI te gebruiken voor haar werk. Met een glimlach zegt ze: ‘Ik hou nog steeds van schrijven.’

Maar de opkomst van ChatGPT heeft beleidsmakers en accountingdocenten zoals Achhpilia en De Meyst aan het denken gezet over verantwoorde manieren om AI-technologie in hun onderwijsmodellen op te nemen. Achhpilia: ‘Het is een factor die niet kan worden genegeerd.’

Foto's: Duncan de Fey

Tekst: Pim Muller

Contactinformatie