Baina, zér gertatzen da noiz 'n' bit-kopurua ez den osoko zenbaki bat? Nóla interpretatzen ahal dugu emaitza?

Saio aleatorio baten entropia (H) kalkulatzean, orain arte ikusi dugu kasuak nola hau:

H(1/(2^n), ..., 1/(2^n)) =  log2(2^n) = n bit  = n txanpon  [2^n (alegia, 2 ber n) emaitza posible]

non emaitza (n bit) zén zenbaki oso positibo bat (n = 1,2,3,...), zeinen interpretazio zehatza egin ahal zen an terminuak on zénbat erantzun binario beharko ziren ki transmititu saio horren emaitza:

4 bit = 4 txanpon (2^4 = 16 emaitza posible) = 4 erantzun binario

Baina, zér gertatzen da noiz n bit-kopurua ez den osoko zenbaki bat? Nóla interpretatzen ahal dugu emaitza? 

Demagun dado regular bat, non daukagun 6 emaitza posible:

H(1/6, ..., 1/6) =  log2(6) = 2.584963  bit  

Interpretatu al dugu emaitza hori an terminuak on galderak (esan nahi baita, batezbesteko galderak)? Erantzuna da ze, aproximatuki bai, nahiz ez zehazki. Izan ere, saio horrretan, batezbestekoan beharko genuke :

2*(2/6)+3*(4/6) = 2.666667 galdera (kodifikatu beharko genituzke ki transmititu emaitza)

[Oharra: 1. erantzun binarioan zatituko genuke emaitzen seikotea an bi azpimultzo hen 3 emaitza; eta 2. galdera binarioan, zatituko genuke hirukote horietako bakoitza an bi azpimultzo kin 1 edo 2 elementu, halan ze 2. txanda horretan asmatzeko probablitatea dá 2/6 (alegia, 6 kasutatik 2tan asmatuko litzake an 2. galdera: 2 galdera * (2/6) = 4/6), eta 3. eta azken txanda batean emaitza asmatzeko probabilitatea izanen dá 4/6 (alegia, 6 kasutatik 4tan asmatuko litzake an 3. galdera: 3 galdera * (4/6) = 12/6), non (16/6) = 2.666667]

zein dén aproximatuki goragoko bit-kopurua, nahiz ez zehazki. Esan nahi baita ze funtzio logaritmikoak ez du beti (bit kopuru guztietan) zehazki kalkulatzen erantzun beharrezkoen informazio hori. Hala ere, bit-en interpretazio hori zehatza izanen da noiz n dén osokoa (zein ez den gutxi), eta tarteko kasuetan (funtzioa jarraitua baita) aproximatuko da ki interpretazio hori, halan ze, aproximatuki bederen (eta intuitiboki), galderen interpretazio hori erabil (manten) daiteke. [1289] [>>>]