Užití principu maximální entropie ve statistické fyzice

Účelem tohoto článku je demonstrovat použití variačního principu (viz článek Stručné shrnutí variačního počtu) a principu maximální entropie při odvození normálního rozdělení ve statistice a Maxwellova rozdělení ve statistické fyzice.

Princip maximální entropie

Entropie daného náhodného rozdělení se v informačním slova smyslu

$S=-\sum _{i=1}^{N}\left(p_{i}\log p_{i}\right).$

Zde suma probíhá přes všechny možné stavy, p_i jsou přitom pravděpodobnosti daných stavů.

Princip maximální entropie říká, že pokud o daném rozdělení máme jen částečnou informaci - známe jen některé jeho charakteristiky (např. střední hodnotu, střední kvadratickou odchylku, poměr pravděpodobností padnutí některých stavů, apod.), potom nejpravděpodobnější tvar daného rozdělení je takový, který splňuje požadavky, které o rozdělení známe a má nejvyšší možnou entropii.

Z tohoto principu můžeme jednoduše odvodit např. proč se v přírodě velmi pravděpodobně realizuje normální rozdělení, nebo proč termodynamika vypadá tak, jak vypadá.

Význačnost normálního rozdělení

Mějme náhodné rozdělení s hustotou pravděpodobnosti danou funkcí f(x) takové, že

$\int _{-\infty }^{\infty }xf(x)\,\mathrm {d} x=\langle f\rangle ,\,\,\,\,\int _{-\infty }^{\infty }(x-\langle f\rangle )^{2}f(x)\,\mathrm {d} x=\sigma ^{2},\,\,\,\,\int _{-\infty }^{\infty }f(x)\,\mathrm {d} x=1$

a jinak o něm neměli žádnou informaci.

Funkcionál entropie je

$S=\int _{-\infty }^{\infty }-f(x)\log f(x),$

navíc však splňuje vazby výše. Zavedeme tedy trojici lagrangeových multiplikátorů κ, μ, ν a maximalizujeme funkcionál

$S_{\mathrm {mult.} }=\int _{-\infty }^{\infty }\left[-f(x)\log f(x)+\kappa xf(x)+\mu (x-\langle f\rangle )^{2}f(x)+\nu f(x)\right].$

Euler-Lagrangeova rovnice nabývá tvaru

$0={{\partial S_{\mathrm {mult.} }} \over {\partial f(x)}}=-1-\log f(x)+\kappa x+\mu (x-\langle f\rangle )^{2}+\nu =0$

tedy

$f(x)=e^{-1+\kappa x+\mu (x-\langle f\rangle )^{2}+\nu }.$

Podmínky tedy nabývají tvaru

$\int _{-\infty }^{\infty }f(x)\,\mathrm {d} x={{\sqrt {\pi }} \over {\sqrt {-\mu }}}\,e^{-1+\langle f\rangle \kappa +\nu -{{\kappa ^{2}} \over {4\mu }}}=1$

$\int _{-\infty }^{\infty }xf(x)\,\mathrm {d} x={{\sqrt {\pi }} \over {2{\sqrt {-\mu ^{3}}}}}\,\left|\kappa -2\langle f\rangle \mu \right|\,e^{-1+\langle f\rangle \kappa +\nu -{{\kappa ^{2}} \over {4\mu }}}=\langle f\rangle$

$\int _{-\infty }^{\infty }(x-\langle f\rangle )^{2}f(x)\,\mathrm {d} x={{{\sqrt {-\pi \mu }}\left(2\mu -\kappa ^{2}\right)} \over {4\mu ^{3}}}\,e^{-1+\langle f\rangle \kappa +\nu -{{\kappa ^{2}} \over {4\mu }}}=\sigma ^{2}$

Řešením této soustavy rovnic získáme hodnoty lagrangeových multiplikátorů

$\kappa =0,\,$

$\nu =1-\log({\sqrt {2\pi }}\sigma )$

$\mu =-{{1} \over {2\sigma ^{2}}}$

Což přesně odpovídá tvaru normálního rozdělení - jde tedy právě o takové rozdělení

$f(x)={{1} \over {{\sqrt {2\pi }}\sigma }}\,e^{-{\frac {(x-\langle f\rangle )^{2}}{2\sigma }}}$, které maximalizuje entropii při známé hodnotě střední hodnoty a střední kvadratické odchylky.