Baina, zér gertatzen da noiz 'n' bit-kopurua ez den osoko zenbaki bat? Nóla interpretatzen ahal dugu emaitza?

Saio aleatorio baten entropia (H) kalkulatzean, orain arte ikusi dugu kasuak nola hau:

H(1/(2^n), ..., 1/(2^n)) =  log2(2^n) = n bit  = n txanpon  [2^n (alegia, 2 ber n) emaitza posible]

non emaitza (n bit) zén zenbaki oso positibo bat (n = 1,2,3,...), zeinen interpretazio zehatza egin ahal zen an terminuak e zénbat erantzun binario beharko ziren ki transmititu saio horren emaitza:

4 bit = 4 txanpon (2^4 = 16 emaitza posible) = 4 erantzun binario

Baina, zér gertatzen da noiz n bit-kopurua ez den osoko zenbaki bat? Nóla interpretatzen ahal dugu emaitza? 

Demagun dado regular bat, non daukagun 6 emaitza posible:

H(1/6, ..., 1/6) =  log2(6) = 2.584963  bit  

Interpretatu al dugu emaitza hori an terminuak e galderak (esan nahi baita, batezbesteko galderak)? Erantzuna da ze, aproximatuki bai, nahiz ez zehazki. Izan ere, saio horrretan, batezbestekoan beharko genuke :

2*(2/6)+3*(4/6) = 2.666667 galdera (kodifikatu beharko genituzke ki transmititu emaitza)

[Oharra: 1. erantzun binarioan zatituko genuke emaitzen seikotea an bi azpimultzo hen 3 emaitza; eta 2. galdera binarioan, zatituko genuke hirukote horietako bakoitza an bi azpimultzo kin 1 edo 2 elementu, halan-ze 2. txanda horretan asmatzeko probablitatea dá 2/6 (alegia, 6 kasutatik 2tan asmatuko litzake an 2. galdera: 2 galdera * (2/6) = 4/6), eta 3. eta azken txanda batean emaitza asmatzeko probabilitatea izanen dá 4/6 (alegia, 6 kasutatik 4tan asmatuko litzake an 3. galdera: 3 galdera * (4/6) = 12/6), non (16/6) = 2.666667]

zein dén aproximatuki goragoko bit-kopurua, nahiz ez zehazki. Esan nahi baita ze funtzio logaritmikoak ez du beti (bit kopuru guztietan) zehazki kalkulatzen erantzun beharrezkoen informazio hori. Hala ere, bit-en interpretazio hori zehatza izanen da noiz n dén osokoa (zein ez den gutxi), eta tarteko kasuetan (funtzioa jarraitua baita) aproximatuko da ki interpretazio hori, halan-ze, aproximatuki bederen (eta intuitiboki), galderen interpretazio hori erabil (manten) daiteke. [⇶]