Entropie

[leon86]

Een bron genereert een onafhankelijke rij symbolen uit het alfabet {0,1}. De kans

op een 0 is 0, 9, de kans op een 1 is 0, 1. De rij getallen wordt met een ‘Run-Length

codering’ gecodeerd tot een rij met symbolen uit het alfabet {a,b,c,d,e, f ,g,h, i}.

Tenslotte worden deze ‘run-length’ codewoorden weer gecodeerd met een Huffmancode.

b-code | r-code

1 | a

01 | b

001 | c

0001 | d

00001 | e

000001 | f

0000001 | g

00000001 | h

00000000 | i

Kan iemand mij misschien uitleggen welke stappen ik kan nemen om achter de entropie van de bron te komen?

Zelf dacht ik dat H(X)= -9 pi(0,9|0,1)log2(0,9)

pi = de kans/waarschijnlijkheid

alleen weet ik niet welke getal de variabel x moet zijn

[Jan van de Velde]

Iemand die hier een handje kan toesteken?

[Drieske]

Verplaatst naar Wiskunde.

[Xenion]

Hoeveel symbolen verzendt de bron?

Wat is de kans op elk symbool?

Wat is de definitie van entropie?

Als je de definitie en de kansen kent, dan kan je toch makkelijk de entropie berekenen?

De X duidt gewoon aan dat je de entropie van de bron wil kennen, H(Y) is de entropie van de ontvanger.

Verder heb je ook nog H(X,Y), H(X|Y) en H(Y|X) maar die definities verschillen een beetje.