Eta zér gertatzen da noiz probabilitateak ez diren berdinak? Ba ze formula aplikatzen dá berdin-berdin

Herenegungo eta atzoko postetan ikusi ditugú zenbait adibide non genuen kalkulatzen zénbat bit (informazio-unitate) beharko genituzke ki transmititu ha emaitzá on saio aleatorioak non emaitza posible guztiek zutén ber probabilitatea. Horrela, eta adibidez, genuén:

H(1/2, 1/2) =  log2(2) = 1 bit 

Baina, zér gertatzen da baldin probabilitateak ez badira berdinak? Ba ze formula aplikatzen dá berdin-berdin (dakigunez, H(pi) jarraitua da an pi):

non daukagun ze: 

H(P(aurpegi), P(gurutze)) = P(aurpegi)*log2(1/P(aurpegi)) + P(gurutze)*log2(1/P(gurutze))

H(0.001, 0.999) = 0.001*log2(1/0.001) + 0.999*log2(1/0.999) = 0.01140776 = 0.011

H(0.01, 0.99) = 0.01*log2(1/0.01) + 0.99*log2(1/0.99) = 0.08079314 = 0.081

H(0.1, 0.9) = 0.1*log2(1/0.1) + 0.9*log2(1/0.9) = 0.4689956 = 0.47

H(0.2, 0.8) = 0.2*log2(1/0.2) + 0.8*log2(1/0.8) =  0.7219281 = 0.72

H(0.5, 0.5) = 0.5*log2(1/0.5) + 0.5*log2(1/0.5) = 1

Balio horiek bihurtzen dirá puntuak an ondoko grafikoa (dá goragoko grafiko bera, baina Shannon-ek berak emana an 1948):

Shannon-en irudia eta textua (1948)

Bestalde, txanpon irregular baten kasuan ez da hain intuitiboa interpretatzea emaitza horiek an terminuak on galderak (salbu an kasua non H(1,0)=0, beste kasu guztietan beharko zén galdera bat), halan ze egokiagoa dirudi interpretazio bat an terminuak on ziurtasun-gradua gain emaitza lehenda gauzátu saioa: zenbat eta ziurtasun gutxiago izán gain emaitza, emaitza horren informazio-edukia handiagoa izanen da, iritsiz eduki informatibo maximoa noiz emaitza posible guztiak dirén ekiprobableak (kasu horretan daukagu zalantza-gradu maximoa, nola ikusten dugun an goragoko grafikoa noiz P(aurpegi) = P(gurutze) = 0.5 [1290] [>>>]