Nahikoa litzaké kode bat non emanen zirén bi erantzun binario = 2 "binary unit" = 2 bit

Atzo ikusten genuen nóla 1 bit zén a informazioa zein gordetzen zen an aukera binario bat non bi emaitza posibleak zirén ekiprobrableak:

H(1/2, 1/2) = (1/2)*log2(2)+(1/2)*log2(2) = 2*(1/2)*log2(2) = log2(2) = 1 bit

Baina, zénbat bit beharko genituzke ki transmititu emaitza e saio aleatorio bat non gerta daitezke 4 emaitza posible kin ber probabilitatea? Adibidez, bi txanpon regular aldi berean botata, izanen genuke ondoko 4 emaitza posible eta ekiprobableak:

{(aurpegi, aurpegi), (aurpegi, gurutze), (gurutze, aurpegi) ,(gurutze, gurutze)}

Kontuan hartúz ze, esan bezala, probabilitateak izanen zirén berdinak (1/4), zéin izango litzake halako egoera probabilistikoaren entropia?

H(1/4, 1/4, 1/4, 1/4) = (1/4)*log2(4)+(1/4)*log2(4)+(1/4)*log2(4)+(1/4)*log2(4) = 4*(1/4)*log2(4) = log2(4) = 2 bit

2 bit horiek interpretatuz, esan geinke ze, halako saio baten emaitza jakinarazteko (4 emaitza posible eta ekiprobableak), nahikoa litzaké kode bat non emanen zirén bi erantzun binario (hain zuzen, 2 "binary unit", 2 bit). Adibidez:

1. galdera: Atera al da {(aurpegi, aurpegi), (aurpegi, gurutze)} ala {(gurutze, aurpegi) , (gurutze, gurutze)}?

2. galdera: Baldin 1. galderari egindako erantzuna izan bada {(aurpegi, aurpegi), (aurpegi, gurutze)}, orduan, bigarren txandan, galdetuko litzaké: Atera al da {(aurpegi, aurpegi)} ala {(aurpegi, gurutze)}. Baldin, 1. galderari egindako erantzuna izan bada {(gurutze, aurpegi) , (gurutze, gurutze)}, orduan hauxe izan liteké galdera: Atera al da {(gurutze, aurpegi)} ala {(gurutze, gurutze)}.

Edozein modutan ere, kodifikatu beharko lirake bi erantzun binario (bakoitzean, 0 ala 1) afin transmititu zéin izan den halako saio baten emaitza (informazioa): 2 bit. [⇶]