Bi emaitza posible izan ahal dira arbitrarioki antzekoak, baina ezberdinak (ezberdintzat jotzen) badira, entropia asko igoarazi ahal dute

Atzo eta herenegun azpimarratzen genuén entropiaren propietate bat zeinen arabera, probabilitate-banaketa batean, probabilitateetako batetik kentzen bagenuen probabilitate "txiki" bat, horrela sórtuz beste banaketa bat non egonen zén emaitza posible bat gehiago kin probabilitate"txiki" hori bakandua, orduan probabilitate isolatu horren eragina gain entropia izanen zen handiagoa zein lehen, halan ze probabilitate-banaketa erlatiboki zatituago horrek izanen zuén entropia gehiago eta prediktibilitate gutxiago.

Horren inguruan, báda beste puntu bat zein akaso komeniko litzakén azpimarratzea: entropia oinarritzen dá soilik an probabilitateak, ez an emaitzak eurak. Esan nahi baita ze emaitza posible bat banatu ahal da an emaitza posible ezberdin oso antzekoak baina ezberdinak (eta kin probabilitate txikiagoak), lórtuz banaketa bat non entropia erlatiboki aski handitu ahal den. 

Ikustagun adibide bat: demagun aldagai aleatorio bat, X, non jasotzen den zénbat irabazi ahal den an joku bat zeintan daukagún 0.5eko probablitatea ki irabazi euro bat, eta beste 0.5eko probabilitatea ki irabazi 1.000.000 euro:

P(1) = 0 eta P(1.000.000) = 0.5

Dakigunez, aldagai aleatorio horren entropia izanen dá 1 bit.

Orain suposa dezagun beste aldagai aleatorio bat, Y, adieraziz zénbat irabazi ahal dugún an joku bat zeintan daukagun 0.5eko probabilitatea ki irabazi euro bat, eta beste 0.5eko probabilitatea ki irabazi 2 euro:

P(1) = 0 eta P(2) = 0.5

Hemen ere, entropia izanen da 1 bit.

Bide horretatik, demagun:

P(3) = 0.15 eta P(1.000.000) = 0.85

zeinen entropia izanen da:

H(0.15, 0.85) = 0.15*log2(1/0.15) + 0.85*log2(1/0.85) = 0.6098403

eta bestalde:

P(1) = 0.1, P(2) = 0.2, P(3) = 0.3,  P(4) = 0.4, P(5) = 0.5, P(1.000.000) = 0.85

zeinen entropia izanen dén:

H(0.1, 0.2, 0.3, 0.4, 0.5, 0.85) = 0.1*log2(1/0.1) + 0.2*log2(1/0.) + 0.3*log2(1/0.3) + 0.4*log2(1/0.4) + 0.5*log2(1/0.5) + 0.85*log2(1/0.85) = 2.545735

Gauza da ze, bigarren loteria horretan, zatitu dugu emaitza posible baten probabilitatea (3 euro irabazteko probabilitea: P(3) = 0.15) arten emaitza posible ezberdin gehiago zein diren erlatiboki oso antzekoak, eta zeinen probabilitate totala dén lehengo emaitza bakar horren berdina (1, 2, 3, 4 edo 5 euro irabaztea, non P(1) +P(2)+P(3)+P(4)+P(5) = 0.15), bitartean ze, bestalde, 1.000.000 euro irabazteko probabilitatea mantendu da (1.000.000 euro irabaztea dá emaitza erlatiboki oso ezberdina respektu beste guztiak).

Ikuspuntu batetik esan liteke ze bi joku horietako zalantza-gradua ez da hain ezberdina (bigarrenean, zenbait emaitza posible baitirá erlatiboki oso antzekoak), nahiz entropia laukoiztu egin den. Eta berdin gertatuko litzake baldin emaitzen arteko diferentzia izan balitz zentimo batekoa. Izan ere, bi (edo gehiago) emaitza posible izan ahal dira arbitrarioki antzekoak, baina ezberdinak (ezberdintzat jotzen) badira, entropia asko igoarazi ahal dute. [1293] [>>>]