- De student is bekend met centrale concepten uit de theorie van informatietransmissie: entropie, informatie, codering, capaciteit van een kanaal.
- De student is in staat, efficiente coderingen voor specifieke informatiebronnen te construeren.
- De student kan transmissiekanalen met ruis modelleren en weet hun capaciteit te berekenen.
- De student is bekend met de theorie van foutcorrigerende codes en kan deze op concrete voorbeelden toepassen.
|
|
Deze cursus draait om verschillende aspecten van het overdragen van informatie van een bron via een kanaal naar een ontvanger. Hierbij spelen twee weerstrijdige doelen een rol, efficiency en robuustheid. Aan de ene kant wordt geprobeerd, de informatie middels een geschikte codering zo goed mogelijk te comprimeren, aan de andere kant is er een zekere mate van redundatie nodig om transmissiefouten te kunnen herstellen.
De zuivere theoretische basis voor de beschrijving van informatietransmissie is een jong deelgebied van de wiskunde, met aan zijn wieg een artikel van Claude Shannon uit het jaar 1948 (alhoewel delen van de theorie verder terug gaan).
Bij de vraag, hoe efficient een codering kan zijn, zullen we kennis maken met het begrip van entropie die een maat is voor de onzekerheid bij een toevalsproces (en ook in de natuurkunde een belangrijke rol speelt). De entropie geeft een bovengrens voor de mogelijke compressiefactor, en we zullen zien dat deze bovengrens bij een kanaal zonder ruis middels de Huffman-codering daadwerkelijk bereikt kan worden. Tegelijkertijd geeft de entropie een concrete invulling aan het begrip 'informatie', die opgevat wordt als reductie van de onzekerheid.
We zullen vervolgens kijken naar modellen voor kanalen met ruis en het concept van de 'capaciteit' van zo'n kanaal behandelen. De capaciteit vormt een bovengrens voor de hoeveelheid informatie die het kanaal kan overdragen, en een fundamentele stelling van Shannon beweert dat middels een geschikte codering beide weerstrijdige doelen gerealiseerd kunnen worden: de bovengrens van de transmissierate kan willekeurig goed benadert worden terwijl tegelijkertijd de kans op fouten willekeurig klein blijft.
Helaas is het bewijs van Shannon's stelling in hoge mate niet-constructief, waardoor er de behoefte blijft om coderingen te vinden die een goede verhouding hebben tussen de hoeveelheid redundantie en het vermogen fouten te corrigeren. We zullen hiervan verschillende concrete voorbeelden behandelen.
Werkvormen
|
 |
|
|
| Calculus A, Calculus B, Lineaire Algebra A, Lineaire Algebra B, Kansrekening |
|
|
|