Eta zér gertatzen da noiz probabilitateak ez diren berdinak? Baze formula aplikatzen dá berdin-berdin

Herenegungo eta atzoko postetan ikusi dugu zenbait adibide non kalkulatzen genuen zénbat bit (informazio-unitate) beharko genituzke transmítitzeko a emaitza e saio aleatorioak non emaitza posible guztiak gertatzen ziren kin ber proabilitatea. Horrela, genuén adibidez:

H(1/2, 1/2) =  log2(2) = 1 bit 

Baina, zér gertatzen da baldin probabilitateak ez badira berdinak? Baze formula aplikatzen dá berdin-berdin (dakigunez, H(pi) jarraitua da an pi):

non daukagun ze: 

H(P(aurpegi), P(gurutze)) = P(aurpegi)*log2(1/P(aurpegi)) + P(gurutze)*log2(1/P(gurutze))

H(0.001, 0.999) = 0.001*log2(1/0.001) + 0.999*log2(1/0.999) = 0.01140776 = 0.011

H(0.01, 0.99) = 0.01*log2(1/0.01) + 0.99*log2(1/0.99) = 0.08079314 = 0.081

H(0.1, 0.9) = 0.1*log2(1/0.1) + 0.9*log2(1/0.9) = 0.4689956 = 0.47

H(0.2, 0.8) = 0.2*log2(1/0.2) + 0.8*log2(1/0.8) =  0.7219281 = 0.72

H(0.5, 0.5) = 0.5*log2(1/0.5) + 0.5*log2(1/0.5) = 1

Balio horiek bihurtzen dirá puntu an ondoko grafikoa (dá goragoko grafiko bera, baina Shannon-ek berak emana an 1948):

Shannon-en irudia eta textua (1948)

Bestalde, txanpon irregular baten kasuan ez da hain intuitiboa interpretatzea emaitzak an terminuak e galderak (salbu an kasua non H(1,0)=0, beste kasu guztietan beharko zen galdera bat), halan-ze egokiagoa dirudi interpretazio bat an terminuak e ziurtasun-gradua gain emaitza lehenda gauzatú saioa: zénbat eta ziurtasun gutxiago izán gain emaitza, emaitza horren informazio-edukia handiagoa izanen da, irítsiz eduki informatibo maximoa noiz emaitza posible guztiak dirén ekiprobableak (kasu horretan daukagu zalantza-gradu maximoa, nola ikusten dugun an goragoko grafikoa noiz P(aurpegi) = P(gurutze) = 0.5. [⇶]