sciencetalk

hallo,

ik ben momenteel aan het leren over kwantuminformatietheorie en specifieker Shannon entropie. We hebben gezien dat bij een binair alfabet, de Shannon entropie gegeven wordt door

H(p)=-p*log(p)-(1-p)log(1-p), waarbij p de kans is op 1 en 1-p op 0 logischerwijs. Maar vervolgens gaat men in de cursus van Preskill(hoofdstuk 5) over naar een uitbreiding naar een alfabet met k letters.

Dit is een korte uitleg voor een simpele vraag. Zou er mij iemand aan de hand van voorbeelden kunnen uitleggen wat het doel is, en hoe dit in zijn werk gaat?

Ik denk dat bijvoorbeeld bij ons alfabet(26 letters), de kans op de letter x kleiner is dan de kans op de letter e. Dus dat je zo uw ensemble vormt van de 26 letters, met elk hun kans. De kans bepaal je aan de hand van bijvoorbeeld een tekst. Maar wat wil de Shannon-entropie dan in woorden zeggen, Preskill vermeld ook mutual information, een grootheid die zou moeten weergeven hoe gecorreleerd twee boodschappen zijn.

hoop dat het een beetje duidelijk is...maar alvast bedankt en hoop dat het hier niet verkeerd staat

nogmaals bedankt

Ik ben zeker niet thuis in deze materie, maar even googlen bezorgt ons deze site over de Shannon-entropie. Hier is dezelfde pagina, zei het iets beknopter, maar wel in het Nederlands.

Overigens wel interessant lijkt me.

die sites had ik ook gevonden, maar ja had graag een duidelijker voorbeeld gehad . Zeer interessant, de cursus die we voglen staat op internet(http://www.theory.caltech.edu/people/pr ... 9/#lecture). soms wat moeilijk maar de toepassingen en voorbeelden zijn verbazingwekkend..

bedankt voor het antwoord

ik vermoed dat je kan aantonen dat de shannon entropie maximaal is als de kans op alle letters aan mekaar gelijk is, dit correspondeert dan inderdaad met een toestand van maximale wanorde.