Zentesima bakandu horrek ez soilik ez du efektu negatiborik gain entropia, baizik-ze orain dauka batezbesteko efektu positibo erlatiboki handiena respektu beste bi probabilitateak

Sarrera honetan azpimarratu nahi nuke entropiaren ezaugarri bat zein den derivatzen ti bere definizioa (formula), alegia-ze probabilitate-banaketa batetik berbanatzen (zatitzen) badugu probabilitate bat (edozein probabilitate) an probabilitate (zati) gehiago (eta txikiagoak), probabilitate txikiago horiek aportatuko duté erlatiboki entropia gehiago (izanen duté erlatiboki pisu positibo handiagoa an konputo osoa e entropia). Ikustagun adibide bat, hártuz honako probabilitate-banaketa:

H(0.65, 0.35) = (0.65*log2(1/0.65)) + (0.35*log2(1/0.35)) = 0.9340681

non dauzkagu bi zati hauek:

h(0.65) = 0.65*log2(1/0.65) = 0.4039674,  halan-ze: 0.4039674/0.65 = 0.6214883

eta

h(0.35) = 0.35*log2(1/0.35) = 0.5301006, halan-ze  0.5301006/0.35 = 1.514573

Esan nahi baita ze, entropiaren konputo osoan, probabilitate txikiagoetako zentesimek dúte aportatzen erlatiboki gehiago zein probabilitate handiagoetakoek (kasu horretan, 1.514573 aurka 0.6214883). 

Eta zér gertatzen da baldin banatú probilitate hori an zati gehiago? Adibidez, kénduz zentesima bat ki probabilitate handiena eta járriz ehunen hori aparte?

H(0.64, 0.35, 0.01) = (0.64*log2(1/0.64)) + (0.35*log2(1/0.35)) + (0.01*log2(1/0.01)) = 1.008607

respektu goragoko:

H(0.65, 0.35) = (0.65*log2(1/0.65)) + (0.35*log2(1/0.35)) = 0.9340681

Ba, gertatzen da ze, oraingo banaketa zatituagoan, entropia erlatiboki aski handitu da zeren, alde batetik (eta efektu hau ez da orokorra) probabilitate handiena jaisteak berak eragin du entropia-igoera bat:

h(0.65) = 0.65*log2(1/0.65) = 0.4039674 <  0.412068 = 0.64*log2(1/0.64)  = h(0.64)

eta bestetik zeren (eta efektu hau báda orokorra) zentesima horren batezbesteko efektua askoz pisuagoa da orain an konputo osoa e entropia:

h(0.01) = 0.01*log2(1/0.01) = 0.06643856, halan-ze  0.06643856/0.01 = 6.643856

esan nahi baita ze, kasu konkretu honetan, zentesima bakandu horrek ez soilik ez du efektu negatiborik gain entropia, baizik-ze orain dauka batezbesteko efektu positibo erlatiboki handiena respektu beste bi probabilitateak (handiena eta ertaina). [⇶]