Behin bakanduta, zentesima horrek izanen dú askoz eragin (pisu) handiagoa gain entropia

Atzoko sarreran genioen ze ...

 ... entropiaren konputo osoan, probabilitate txikiagoetako zentesimek aportatzen duté erlatiboki gehiago zein probabilitate handiagoetakoek (kasu horretan, 1.514573 aurka 0.6214883). 

Eta zér gertatzen da baldin banatú probilitate hori an zati gehiago? Adibidez, kénduz zentesima bat ki probabilitate handiena eta járriz ehunen hori aparte?

H(0.64, 0.35, 0.01) = (0.64*log2(1/0.64)) + (0.35*log2(1/0.35)) + (0.01*log2(1/0.01)) = 1.008607

respektu goragoko:

H(0.65, 0.35) = (0.65*log2(1/0.65)) + (0.35*log2(1/0.35)) = 0.9340681

Ba, gertatzen da ze, oraingo banaketa zatituagoan, entropia erlatiboki aski handitu da zeren, alde batetik (eta efektu hau ez da orokorra) probabilitate handiena jaisteak berak eragin du entropia-igoera bat:

h(0.65) = 0.65*log2(1/0.65) = 0.4039674 <  0.412068 = 0.64*log2(1/0.64)  = h(0.64)

eta bestetik zeren (eta efektu hau báda orokorra) zentesima horren batezbesteko efektua askoz pisuagoa da orain an konputo osoa on entropia:

h(0.01) = 0.01*log2(1/0.01) = 0.06643856, halan-ze  0.06643856/0.01 = 6.643856

Baina baldin, nola genioen, lehenengo efektu hori ez bada beti gertatzen, gauza da: nóiz gertatzen da lehenengo efektu hori? Edo bestela galdetuta: nón dago maximoa on:

h(p) = p*log2(1/p)

respektu p, noiz p aurkitzen dén arten 0 eta 1?

Maxímizatuz funtzio hori, lortzen dugu ondoko maximo-baldintza beharrezkoa (baldintza nahikoa betetzen da):

log2(e) - log2(1/p) = 0 

nondik 

p = (1/e) = 0.3678794 

non 

max(h) = 0.5307378 

Esan nahi baita ze h(x) dá gorakorra harik p = 0.3678794 non lortzen dén h-ren maximoa (0.5307378) eta nondik aurrera h funtzioa hasten den izaten beherakorra. Hortaz, atzo aipatutako lehenengo efektu hori (esan nahi baita probabilitate bati kantitate "txiki" bat kenduta, probabilitate txikiago horren entropia igotzea) ez da gertatuko baldin p  < 0.3678794 (atzokoan bai gertatzen zén zeren p = 0,65 > 0.3678794). Adibidez:

h(0.35) = 0.35*log2(1/0.35) = 0.5301006 >  0.5291737 = 0.34*log2(1/0.34)  = h(0.34)

Azkenik gaineratu ze atzoko bigarren efektua báda orokorra (h(p)-ren bigarren derivatua dá negatiboa artén 0 eta 1): 

H(0.65, 0.34) = (0.65*log2(1/0.65)) + (0.34*log2(1/0.34)) = 0.9331412

H(0.65, 0.35) = (0.65*log2(1/0.65)) + (0.35*log2(1/0.35)) = 0.9340681 

H(0.65, 0.34, 0.01) = (0.65*log2(1/0.65)) + (0.34*log2(1/0.34)) + (0.01*log2(1/0.01)) = 0.9995797

non, ikusten denez, bakandutako zentesima horrek izanen dú askoz eragin (pisu) handiagoa gain entropia noiz agertzen den bakanduta. [1292] [>>>]