[[Parisi「統計的場の理論」を読む]]
2 The entropy
- 平衡系の確率分布 &mimetex(\exp(-\beta H(C))/Z); はやっぱり特別なものなんですね。それを示すためにはこの節のタイトルであるエントロピーが本質的と。
- 一般的な配位Cに対するエントロピーの式
#mimetex(S[P]=-\int d\mu(C) P(C) \ln P(C) = -\langle P(C) \rangle \hspace{20mm} \mbox{(1.11)})
とそれを離散化した式
#mimetex(-\sum_1^M P_j \ln P_j)
で差がでるとは思わなかった! 確かに&mimetex(0\le P\le 1);だから、離散化した
方の式は負にはならないけど、最初の式は負になりうるのですね。
- 1次元の場合での説明が章の後ろのNoteの３に示してあるように、連続の場合のエントロピー&mimetex(S_{\mbox{con}});と離散の場合のエントロピー&mimetex(S_{\mbox{dis}});で
式(1.13)の&mimetex(S_{\mbox{dis}}\sim S_{\mbox{con}} -d \ln \epsilon); 分だけ差がでるのですね。
- 連続空間を小さなセル&mimetex(\epsilon^d);に分割して、&mimetex(\epsilon \to 0);で差はゼロになりそうな気がするけど、むしろ差は無限大ですね。
- (差が無限大になるのは)小さく分割することで連続空間に近づいた、というのではなく、不連続な空間が無限に存在する、と考えるのでしょうか？
- うーん、分からなくなってきた。
- 確率密度を離散化して &mimetex(P_i\epsilon); となっているものを、さらに
#mimetex(\sum \ln (P_i\epsilon) (P_i\epsilon))
とするから変なことが起こるような気もするけど、、、
- きっとパリジ先生が自分でシミュレーションをやってエントロピーを計算しようとして
負が出たことがあるんじゃないかな。
~ ローマ郊外のフラスカッティという小さな町にある研究所で彼のところにいたときに、しょっちゅう自分でいろいろプログラムを書いていて、当時の研究所のVAX-11という計算機で流している。自分でいろいろコンピュータの中で実験して考えているみたいでした。たしかKogutという人が、低温相では自発的に破れているQCDのカイラル対称性が、有限温度相転移のところで回復しているというシミュレーションの論文が出たときだったと思いますが、「あの結果をどう思いますか」と聞いたら、「自分でも計算してみましたが確かにそうなってますね」という返事が返ってきて、うゎーっと思ったことがあります。
当時は、コンピュータなんかは使わないのが清い理論物理屋だというような感じがまだあって、ぼくも少しそれを引きずっていましたが、パリジ先生のところに行ってそんな考えは吹っ飛びましたね。
- 給料が月3万円くらいのポスドク時代って言ってたころですね。
- ぼくのはじめてのポスドクでした。イタリア政府給費留学生という制度でしたが。
いまは給料もよくなってるらしいです。笑っちゃうくらいの極貧生活でしたが、
研究所のみんなが親切だったし、理論部は小さくて、しょっちゅうみんなが廊下に出てきていろいろな分野の話をしていて、とっても楽しくて勉強になった時代でした。
- 恋の世界も後進国の日本から超先進国のイタリアへ行って、初歩から手ほどきしてもらったんですよね。そちらの話をして下さいよ。
- だめです。
- まあ式(1.13)だけの違いがあるけど、離散の場合の式
&mimetex(S=-\sum_1^M P_j \ln P_j); は
&mimetex((P_1,P_2, \cdots , P_M)); のどれか１つの&mimetex(P_j); だけが１で
あとが全部ゼロのときに最小値&mimetex(S=0); になって、
&mimetex(L);個の配位のところにだけ同じ確率でいて、&mimetex(P_j=1/L);のときに
#mimetex(S=-\sum P_j \ln P_j = -(\frac{1}{L} \ln \frac{1}{L}) \times L = \ln L)
そしてLがだんだん大きくなり、最大値は&mimetex(\ln M); というのが
よく分かるのでいいですね。
- このことから、&mimetex(\exp [S[P]]);は小さすぎない確率を持つ状態(configuration)の数だと言えるということですよね。エントロピーは状態数の対数で表されるというのは、各状態が現れる確率が等しいということを前提としているんですね。確かに、習ったような気がしますが、はっきりと意識していませんでした。
- ここからがいよいよ&mimetex(\exp(-\beta H));は特別な確率分布だという
話ですね！
- 自分で話が咀嚼できているかどうか自信が無いので、翻訳みたいになっちゃいますが。
~ 全部で&mimetex(2^k); 個の状態（配位、configuration)があって、考えているシステムがそのどれかにいるとする。このことをメッセージを送って
誰かに伝えたいとするわけです。
&mimetex(2^k); 個の配位は、２進法で&mimetex(k);ビットで番号付けできるので、このメッセージは&mimetex(k);ビットの情報を含みます。
~ システムが１個ではなくて&mimetex(N);個あったとすると（同じシステムのコピーが&mimetex(N);個と書いてありますね）、この&mimetex(N);個の配位がそれぞれどの状態にいるかを厳密に伝えるメッセージは
&mimetex(N\times k);ビットの情報を含みます。
~ さて、&mimetex(N);個のシステムが確率的に分布しているときに、&mimetex(N\times k);個以下の情報量のメッセージで間違わないように伝えられるかというわけですね。もちろん、ありそうも無い配位を取っていれば間違えるわけです。
~ 問題は、N個のシステムがどういう状態になるか伝えるメッセージを送るとき、
&mimetex(N\to \infty); のときにメッセージを解読した人が間違う可能性がゼロである、
そういうメッセージであるための最小ビット数&mimetex(B_N);は何かということです。
- えーっ、&mimetex(B_N < k N);なら絶対間違える可能性があるような気がしますが。情報が足りてないんだから。
- でも、そこが&mimetex(N\to \infty);である世界とNが有限の世界の本質的な違いなんでしょうね。
- この メッセージを解読した人が間違う可能性がゼロであるための最小ビット数&mimetex(B_N);を与えるのがシャノンの定理なんですか。
#mimetex(\frac{B_N}{N} _{\vec{N\to\infty}} \frac{S[P]}{\ln 2} \hspace{20mm}(1.15) )
- つまりNが大きいときは
#mimetex(B_N = \frac{\ln (e^S)}{\ln 2} \times N )
だから、kビットではなくて、&mimetex(\frac{\ln (e^S)}{\ln 2});ビット相当でいいというわけですね。
- M個の配位を全部取りうる場合は &mimetex(M=2^k);つまり
#mimetex(k=\log_2 M = \ln M/\ln 2)
でもいまはシャノンの定理(1.15) &mimetex(S[P]/\ln 2); ビットでいいということは、
#mimetex(I[P] = \frac{\ln M - S[P]}{\ln 2} \hspace{20mm} (1.16))
だけの情報が、確率分布Pを指定したことの中に含まれているはず。
- &mimetex(I[P]);を最小にする、ということはつまり&mimetex(S[P]);を最大にするような分布、ただし平均エネルギー
#mimetex(U=E[P]=\sum_{j=1}^M P_j H_j \hspace{20mm} (1.17))
は一定で、というのがカノニカル分布
#mimetex(P=\exp(-\beta H)/Z \hspace{20mm} (1.5) )
になる、これが(1.5)の意味だというわけですか。
-エントロピーを最大にするようにすると&mimetex(I[P]);は最小になるのはたしかにその通りですが、&mimetex(I[P]);を最小にするというのはどういう意味を持つのでしょうか？(1.14)式のような系で&mimetex(P=\frac{1}{M});(すべての配置が等確率を持つ)だった場合には&mimetex(S[P]=\ln M);なので&mimetex(I[P]=0);、つまり確率分布からの情報はない？
- 内部エネルギーEを一定という条件でエントロピーを最大にするというのを表現するのは、ラグランジェの未定定数法が使えて、その未定定数が&mimetex(\beta);になる。
うーん、ここまで分かってないと統計力学の基礎を知ってるといっちゃいけないわけですか。この1章を飛ばさないで勉強してよかった。
- でもまだここでは&mimetex(\beta);は温度の逆数だとは分からない。
- 最後のところと注６にさらっと書いてあるけど、ラグランジェの未定定数法を使って、自由エネルギー
#mimetex(\Phi[P]=E[P] - \frac{1}{\beta}S[P] \hspace{20mm} (1.18))
が確率Pの合計は１だという拘束
#mimetex(\sum_j P_j = 1\hspace{20mm} (1.17b) )
の下で最大だということから、カノニカル分布が出てくるというのにも感動しました。
パリジ先生が書いている以上のことは書けないんだけど、未定定数&mimetex(\lambda);
を使って&mimetex(g(P)=0);という拘束のもとで&mimetex(\Phi);を最小にするには、
&mimetex(\Phi_\lambda\equiv \Phi + \lambda g(P));を最小にしておいて、それから&mimetex(\lambda);を拘束条件を満足するように取ればいいというのがラグランジェの未定定数のやりかたですから、&mimetex(g=\sum P - 1);として
#mimetex(\Phi_\lambda =E[P] - \frac{1}{\beta}S[P] + \lambda (\sum_j P_j -1) )
ただし
#mimetex(E(P) = \sum_j P_j H_j)
#mimetex(S(P)=-\sum_j P_j \ln P_j)
まず&mimetex(\Phi_\lambda);を&mimetex(P_j);で微分して
#mimetex(\frac{\partial \Phi_\lambda}{\partial P_j} = H_j + \frac{1}{\beta} (\ln P_j + 1) + \lambda )
&mimetex(\Phi_\lambda);が最小のところではこれがゼロだから
#mimetex(\frac{1}{\beta}\ln P_j = - H_j - \frac{1}{\beta} - \lambda)
つまり
#mimetex(P_j = e^{-\beta H_j} \times e^{-1+\lambda/\beta)
- うーん、エントロピーの形&mimetex(P_j\ln P_j);は微分したときに絶妙な形になるんですねー。
- まだ終わってないよ。~
&mimetex(\sum_j P_j = 1);に入れれば、
#mimetex(1 = \sum P_j = \sum_j e^{-\beta H} \times e^{-1+\lambda/\beta} = Z \quad e^{-1+\lambda/\beta})
これを満たすように&mimetex(\lambda);を取ればいい。つまり
#mimetex(P_j = \frac{1}{Z} e^{-\beta H_j})
- 学部の統計力学の講義では、これを理解するのが一番大切なような気がしてきたけど、習ったかなあ。
- この節の最後に書いてある関係式
#mimetex(\Phi[P_{eq}] \equiv F(\beta) = -\frac{1}{\beta} \ln Z)
#mimetex(S[P_{eq}] = \beta^2 \partial F/\partial \beta)
#mimetex(U \equiv E[P_{eq}] = -\partial Z/ \partial \beta)
もなかなか深いよ。
- これは習ってますよ。普通の式でしょう。
#mimetex(Z=e^{-\beta F)
という形で覚えろってよくNさんも言ってるじゃないですか。
- どれも普通に使う式だけど、&mimetex(P_{eq});とわざわざ書いている。確かに &mimetex(P_j = \exp(-\beta H_j)/Z);
を使ってる、つまり平衡の時にしかなりたたない。パリジ先生の頭の中では、一般的な熱力学関係式と、平衡の時に成り立つ式がはっきり区別して意識しているんだろうね。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
