Dit proefschrift onderzoekt hoe relationele databasesystemen query’s kunnen verwerken waarvan de tijdelijke tussengegevens het hoofdgeheugen overschrijden, zonder dat dit leidt tot een plotselinge prestatie-inval. Moderne systemen zijn sterk geoptimaliseerd voor uitvoering in het geheugen, terwijl traditionele verwerking die het geheugen overschrijdt – oftewel externe verwerking – ordes van grootte langzamer kan zijn zodra de geheugenlimieten worden overschreden. Het proefschrift streeft naar een geleidelijke afname van de prestaties met behoud van de snelheid bij verwerking in het geheugen. Omdat query-operatoren aanzienlijk van elkaar verschillen, behandelt het onderzoek de externe uitvoering per operator afzonderlijk, met de nadruk op blokkerende operatoren die relationele tussengegevens moeten opslaan. Voor het sorteren wordt aangetoond dat rijgeoriënteerde lay-outs beter presteren dan kolomgeoriënteerde lay-outs en zodanig kunnen worden aangepast dat gegevens naar de opslag kunnen worden geschreven en daaruit kunnen worden gelezen zonder volledige serialisatie of deserialisatie. Voor gegroepeerde aggregatie wordt paginageheugen voor tussenresultaten voorgesteld, waarbij het beheer van tijdelijk en persistent geheugen wordt verenigd, en wordt een bufferpagina-indeling geïntroduceerd die extra serialisatiekosten wegneemt. Voor joins worden deze opslagtechnieken uitgebreid en wordt geheugenbeheer op plan-niveau aangepakt, aangezien meerdere join-operatoren tegelijkertijd actief kunnen zijn. Een dynamische strategie voor geheugentoewijzing maximaliseert de doorvoer bij actieve joins. Samen maken deze technieken robuuste queryverwerking mogelijk die de geheugencapaciteit overschrijdt op gangbare hardware, zonder dat dit ten koste gaat van de in-memory-prestaties.
Laurens Kuiper behaalde zijn bachelor in informatica en zijn master in datawetenschap aan de Radboud Universiteit in Nijmegen. Hij promoveerde aan het Centrum voor Wiskunde & Informatica (CWI) in Amsterdam. Het onderwerp van zijn proefschrift was de verwerking van externe query’s, dat wil zeggen de verwerking van tussentijdse query-resultaten die groter zijn dan het hoofdgeheugen, met een specifieke focus op analytische databasesystemen. Al zijn onderzoeksresultaten zijn geïmplementeerd in DuckDB, een open-source, in-process, analytisch databasesysteem met een gevectoriseerde uitvoeringsengine. Na zijn promotie is hij blijven werken bij DuckLabs in Amsterdam.