Nóla kalkulatu a entropia e aldagai aleatorio bat (nahizik jasó bere informazio-edukia)

Ikus daigun orain neurri bát ze dén erabili batzutan an artikuluak gain prozesamendu linguistikoa: entropia. Zehazki, ikus daigun nóla definitzen den a entropia e aldagai aleatorio bat xedé kuantifikatu bere informazio-edukia (an "Information Theory, Inference and Learning Algorithms" ganik Mackay, 2003):

Hortxe daukagu entropiaren formula: (4.2), zein saiatuko garen hobekiago ulertzen an datozen sarrerak. [⇶]