Užití principu maximální entropie ve statistické fyzice

Z Wikiknih

Přejít na: navigace, hledání

Účelem tohoto článku je demonstrovat použití variačního principu (viz článek Stručné shrnutí variačního počtu) a principu maximální entropie při odvození normálního rozdělení ve statistice a Maxwellova rozdělení ve statistické fyzice.

[editovat] Princip maximální entropie

Entropie daného náhodného rozdělení se v informačním slova smyslu

S=-\sum_{i=1}^N\left(p_i\log p_i\right).

Zde suma probíhá přes všechny možné stavy, pi jsou přitom pravděpodobnosti daných stavů.

Princip maximální entropie říká, že pokud o daném rozdělení máme jen částečnou informaci - známe jen některé jeho charakteristiky (např. střední hodnotu, střední kvadratickou odchylku, poměr pravděpodobností padnutí některých stavů, apod.), potom nejpravděpodobnější tvar daného rozdělení je takový, který splňuje požadavky, které o rozdělení známe a má nejvyšší možnou entropii.

Z tohoto principu můžeme jednoduše odvodit např. proč se v přírodě velmi pravděpodobně realizuje normální rozdělení, nebo proč termodynamika vypadá tak, jak vypadá.

[editovat] Význačnost normálního rozdělení

Mějme náhodné rozdělení s hustotou pravděpodobnosti danou funkcí f(x) takové, že

\int_{-\infty}^\infty x f(x)\,\mathrm{d}x=\langle f\rangle,\,\,\,\,\int_{-\infty}^\infty (x-\langle f\rangle)^2 f(x)\,\mathrm{d}x=\sigma^2,\,\,\,\,\int_{-\infty}^\infty f(x)\,\mathrm{d}x=1

a jinak o něm neměli žádnou informaci.

Funkcionál entropie je

S=\int_{-\infty}^\infty -f(x)\log f(x),

navíc však splňuje vazby výše. Zavedeme tedy trojici lagrangeových multiplikátorů κ, μ, ν a maximalizujeme funkcionál

S_{\mathrm{mult.}}=\int_{-\infty}^\infty\left[ -f(x)\log f(x)+\kappa x f(x)+\mu(x-\langle f\rangle)^2 f(x)+ \nu f(x) \right].

Euler-Lagrangeova rovnice nabývá tvaru

0={{\partial S_{\mathrm{mult.}}}\over{\partial f(x)}}=-1-\log f(x)+\kappa x + \mu (x-\langle f\rangle)^2 + \nu=0

tedy

f(x)=e^{-1+\kappa x + \mu (x-\langle f\rangle)^2 + \nu}.

Podmínky tedy nabývají tvaru

\int_{-\infty}^\infty f(x)\,\mathrm{d}x={\sqrt{\pi}\over{\sqrt{-\mu}}}\,e^{-1+\langle f\rangle\kappa+\nu-{{\kappa^2}\over {4\mu}}}=1
\int_{-\infty}^\infty x f(x)\,\mathrm{d}x={\sqrt{\pi}\over{2\sqrt{-\mu^3}}}\,\left|\kappa-2\langle f\rangle\mu\right|\,e^{-1+\langle f\rangle\kappa+\nu-{{\kappa^2}\over {4\mu}}}=\langle f\rangle
\int_{-\infty}^\infty (x-\langle f\rangle)^2 f(x)\,\mathrm{d}x= {{\sqrt{-\pi\mu}\left(2\mu-\kappa^2\right)}\over{4\mu^3}}\, e^{-1+\langle f\rangle\kappa+\nu-{{\kappa^2}\over {4\mu}}}=\sigma^2

Řešením této soustavy rovnic získáme hodnoty lagrangeových multiplikátorů

\kappa=0,\,
\nu=1-\log (\sqrt{2\pi}\sigma)
\mu=-{{1}\over{2\sigma^2}}

Což přesně odpovídá tvaru normálního rozdělení - jde tedy právě o takové rozdělení

f(x)={{1}\over{\sqrt{2\pi}\sigma}}\,e^{-\frac{(x-\langle f\rangle)^2}{2\sigma}}, které maximalizuje entropii při známé hodnotě střední hodnoty a střední kvadratické odchylky.
Citováno z „http://cs.wikibooks.org/wiki/U%C5%BEit%C3%AD_principu_maxim%C3%A1ln%C3%AD_entropie_ve_statistick%C3%A9_fyzice“