asteazkena, ekaina 16, 2021

Bi emaitza posible izan ahal dira arbitrarioki antzekoak, baina ezberdinak (ezberdintzat jotzen) badira, entropia asko igoarazi ahal dute

Atzo eta herenegun genúen azpimarratzen entropiaren propietate bat zeinen arabera, probabilitate-banaketa batean, probabilitateetako batetik kentzen bagenuen probabilitate "txiki" bat, horrekin sórtuz beste banaketa bat, non egonen zén emaitza posible bat gehiago kin probabilitate"txiki" hori bakandua, orduan probabilitate isolatu horren eragina gain entropia izanen zen handiagoa zein lehen, halan-ze probabilitate-banaketa erlatiboki zatituago horrek izanen zuén entropia gehiago eta prediktibilitate gutxiago.

Horren inguruan, báda beste puntu bat zein akaso komeniko litzake azpimarratzea: entropia soilik oinarritzen da gain probablitateak, ez gain emaitzak eurak. Esan nahi baita ze emaitza posible bat banatu daiteke an emaitza posible ezberdin oso antzekoak baina ezberdinak (eta kin probabilitate txikiagoak), lórtuz banaketa bat non entropia erlatiboki aski handitu ahal den. 

Ikustagun adibide bat: demagun aldagai aleatorio bat, X, non jasotzen den zénbat irabazi ahal den an joku bat zeintan daukagun 0.5eko probablitatea ki irabazi euro bat, eta beste 0.5eko probabilitatea ki irabazi 1.000.000 euro:

P(1) = 0 eta P(1.000.000) = 0.5

Dakigunez, aladagai aleatorio horren entropia izanen da 1 bit.

Orain suposa dezagun beste aldagai aleatorio bat, Y, non jasotzen den zénbat irabazi ahal digun an joku bat zeintan daukagun 0.5eko probablitatea ki irabazi euro bat, eta beste 0.5eko probabilitatea ki irabazi 2 euro:

P(1) = 0 eta P(2) = 0.5

Hemen ere, entropia izanen da 1 bit.

Bide horretatik, demagun:

P(3) = 0.15 eta P81.000.000) = 0.85

zeinen entropia izanen da:

H(0.15, 0.85) = 0.15*log2(1/0.15) + 0.85*log2(1/0.85) = 0.6098403

eta bestalde:

P(1) = 0.1, P(2) = 0.2, P(3) = 0.3,  P(4) = 0.4, P(5) = 0.5, P(1.000.000) = 0.85

zeinen entropia izanen da:

H(0.1, 0.2, 0.3, 0.4, 0.5, 0.85) = 0.1*log2(1/0.1) + 0.2*log2(1/0.) + 0.3*log2(1/0.3) + 0.4*log2(1/0.4) + 0.5*log2(1/0.5) + 0.85*log2(1/0.85) = 2.545735
Gauza da ze, bigarren loteria horretan, zatitu dugú emaitza posible baten probabilitatea (3 euro irabazteko probabilitea: P(3) = 0.15) arten emaitza posible ezberdin gehiago zein diren erlatiboki oso antzekoak, eta zeinen probabilitate totala dén lehengo emaitza bakar horren berdina (1 , 2, 3, 4 edo 5 euro irabaztea, non P(1) +P(2)+P(3)+P(4)+P(5) = 0.15), bitartean-ze, bestalde, 1.000.000 euro irabazteko probabilitatea mantendu den (1.000.000 euro irabaztea dá emaitza erlatiboki oso ezberdina respektu beste guztiak).

Ikuspuntu batetik esan liteke ze bi joku horietako zalantza-gradua ez da hain ezberdina (bigarrenean, zenbait emaitza posible erlatiboki oso antzekoak baitira), nahiz entropia laukoiztu egin den. Eta berdin gertatuko litzake baldin emaitzen arteko diferentzia izan balitz zentimo batekoa. Izan ere, bi (edo gehio) emaitza posible izan ahal dira arbitrarioki antzekoak, baina ezberdinak (ezberdintzat jotzen) badira, entropia asko igoarazi ahal dute. []