Behin bakanduta, zentesima horrek dú askoz eragin (pisu) handiagoa gain entropia

Atzoko sarreran genioen ze ...

 ... entropiaren konputo osoan, probabilitate txikiagoetako zentesimek dúte aportatzen erlatiboki gehiago zein probabilitate handiagoetakoek (kasu horretan, 1.514573 aurka 0.6214883). 

Eta zér gertatzen da baldin banatú probilitate hori an zati gehiago? Adibidez, kénduz zentesima bat ki probabilitate handiena eta járriz ehunen hori aparte?

H(0.64, 0.35, 0.01) = (0.64*log2(1/0.64)) + (0.35*log2(1/0.35)) + (0.01*log2(1/0.01)) = 1.008607

respektu goragoko:

H(0.65, 0.35) = (0.65*log2(1/0.65)) + (0.35*log2(1/0.35)) = 0.9340681

Ba, gertatzen da ze, oraingo banaketa zatituagoan, entropia erlatiboki aski handitu da zeren, alde batetik (eta efektu hau ez da orokorra) probabilitate handiena jaisteak berak eragin du entropia-igoera bat:

h(0.65) = 0.65*log2(1/0.65) = 0.4039674 <  0.412068 = 0.64*log2(1/0.64)  = h(0.64)

eta bestetik zeren (eta efektu hau báda orokorra) zentesima horren batezbesteko efektua askoz pisuagoa da orain an konputo osoa e entropia:

h(0.01) = 0.01*log2(1/0.01) = 0.06643856, halan-ze  0.06643856/0.01 = 6.643856

Baina baldin, nola genioen, lehenengo efektu hori ez bada beti gertatzen, gauza da: nóiz gertatzen da lehenengo efektu hori? Edo bestela galdetuta: nón dago maximoa hen:

h(p) = p*log2(1/p)

respektu p, noiz p dén arten 0 eta 1?

Maxímizatuz funtzio hori, lortzen dugu ondoko maximo-baldintza beharrezkoa (baldintza nahikoa betetzen da):

log2(e) - log2(1/p) = 0 

nondik 

p = (1/e) = 0.3678794 

non 

max(h) = 0.5307378 

Esan nahi baita ze h(x) dá gorakorra ártio p = 0.3678794 non lortzen da h-ren maximoa (0.5307378) eta nondik aurrera h funtzioa hasten den izaten beherakorra. Hortaz, atzo aipatutako lehenengo efektu hori (esan nahi baita probabilitate bati kantitate "txiki" bat kenduta, probabilitate txikiago horren entropia igotzea) ez da gertatuko baldin p  < 0.3678794 (atzokoan bai gertatzen zén zeren p = 0,65 > 0.3678794). Adibidez:

h(0.35) = 0.35*log2(1/0.35) = 0.5301006 >  0.5291737 = 0.34*log2(1/0.34)  = h(0.34)

Azkenik gaineratu ze atzoko bigarren efektua báda orokorra (h(p)-ren bigarren derivatua dá negatiboa arten 0 eta 1): 

H(0.65, 0.34) = (0.65*log2(1/0.65)) + (0.34*log2(1/0.34)) = 0.9331412

H(0.65, 0.35) = (0.65*log2(1/0.65)) + (0.35*log2(1/0.35)) = 0.9340681 

H(0.65, 0.34, 0.01) = (0.65*log2(1/0.65)) + (0.34*log2(1/0.34)) + (0.01*log2(1/0.01)) = 0.9995797

non, ikusten denez, bakandutako zentesima horrek dú askoz eragin (pisu) handiagoa gain entropia noiz agertzen den bakanduta. [⇶]