情報熱力学入門：情報理論のその先へ - non-equilibrium
この記事はeeic （東京大学工学部電気電子・電子情報工学科） Advent Calendar 2019の２日目の記事として作成されました． 実はeeicにも情報熱力学をやっている研があるのですが，そもそも情報熱力学ってなんぞやという方が多いと思うので簡単な入門を書きました．この分野を学ぶことで情報理論をより深く理解できると思います．弊学科のスローガン「情報を極め，物理世界を変容させる」を達成するために必修化しましょう． さっと読みたい方は不可逆性とは？，情報熱力学の諸分野へどうぞ. 不可逆性とは？ ゆらぎの定理の導出 0. 詳しく知りたい人向けの注意 1. 確率分布とエネルギー 2. 状態遷移とエネルギー 3. 軌跡とエネルギー 4. シャノンエントロピーと総エントロピー 5. ゆらぎの定理 6. 熱力学第二法則 情報熱力学の諸分野 1. 相互情報量の導入 2. 熱力学不確定性関係（Th
情報エントロピーと熱力学エントロピー - hiroki_f’s diary
粗視化、量子消しゴム、エントロピー - hiroki_fの日記 の続き。 情報エントロピーと熱力学エントロピーは深い関係にある。しかし、統計力学の教科書を読んでもこの事を書いてあることはあまりない。 統計力学は、kをボルツマン定数として、系の持つ状態数ΩとエントロピーSに の関係があることを仮定している。 ボルツマンがこの関係を見出したことは、彼が天才であることの証だと思う。 しかし、この関係が何故成り立つのかについては、はっきりしない。 かつては、エルゴード理論などという無意味な空論がその根拠とされ、多くの統計力学の本の冒頭にはその記述がある。苦し紛れの議論で、真面目に考えるとおかしな結論を導き出す。 統計力学では、 が成り立っていることは、暗黙の了解なのだけれど、熱力学との整合性を期待すると、状態数Ωに強い制約を与える。その制約を根拠なしに、状態数が全て満たすというのはまさに驚異だ。
疎結合の正体見たり - 超ウィザード級ハッカーのたのしみ
モジュールが疎結合になっているとか密結合になっているとか、業界にいますとよく聞きます。モジュール間の結合度の定義を発見したのでメモしておきます。 モジュール の モジュール に対する結合度 は以下の式で定義できます。 ここで、 は が に対して持つ仮定の集合、 は仮定 が成立しなくなる確率です。 要するに、これは情報エントロピーを用いて結合度を定義しようとしていまして、 は0以上の値を取り、結合度の値が大きいほどモジュール間の結合が密となります。 そもそも、モジュール間の結合度というものが定義されていなかったので、その定義を発見したことに意味があります。 さらに、この定義が便利なのは有名な設計原則を説明できてしまうことです。以下のようなものを聞いたことがあると思います。 デルメル原則 リスコフの置換原則 ハリウッド原則 驚き最小の原則 これらはだいたい同じことを言っています。依存する側が持
カルバック・ライブラー情報量 - Wikipedia
カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、英: Kullback–Leibler divergence）は2つの確率分布の差異を計る尺度である。 確率論と情報理論で利用され様々な呼び名がある。以下はその一例である： カルバック・ライブラー・ダイバージェンス（KLダイバージェンス） 情報ダイバージェンス（英: information divergence） 情報利得（英: information gain） 相対エントロピー（英: relative entropy） カルバック・ライブラー距離 だたしこの計量は距離の公理を満たさないので、数学的な意味での距離ではない。 応用上は、「真の」確率分布 P とそれ以外の任意の確率分布 Q に対するカルバック・ライブラー情報量が計算される事が多い。たとえば P はデータ、観測値、正確に計算で求められた確率分布などを表し、Q
文字列の類似度を測る(3) レーベンシュタイン距離の拡張｜Colorless Green Ideas
文字列の類似度を測る単純な尺度としてレーベンシュタイン距離というものがあるが、このレーベンシュタイン距離を拡張した様々な指標について見ていく。 はじめに 以前、文字列の類似度を測る手法として、レーベンシュタイン距離というものを紹介した。これは、ある文字列から別の文字列にする際に挿入・削除・置換を何回行うかに基づいて、文字列の類似度を測る尺度であった。レーベンシュタイン距離は簡便な指標であり、実際色々な分野で使われている。ただ、レーベンシュタイン距離だけでは捉えきれない問題もあって、そういう場合は、レーベンシュタイン距離以外の方法で文字列の類似度を測ることになる。 今回は、文字列の類似度を測るための尺度の中でも、レーベンシュタイン距離を拡張したものについて紹介していきたい。特に、Damerau–Levenshtein距離というものと、距離の標準化の話は重要になってくるので、おさえておくと何か
レーベンシュタイン距離 - Wikipedia
レーベンシュタイン距離（レーベンシュタインきょり、英: Levenshtein distance）は、二つの文字列がどの程度異なっているかを示す距離の一種である。編集距離（へんしゅうきょり、英: edit distance）とも呼ばれる。具体的には、1文字の挿入・削除・置換によって、一方の文字列をもう一方の文字列に変形するのに必要な手順の最小回数として定義される[1]。名称は、1965年にこれを考案したロシアの学者ウラジーミル・レーベンシュタイン (露: Влади́мир Левенште́йн) にちなむ。 レーベンシュタイン距離は、同じ文字数の単語に対する置換編集に使われているハミング距離の一般化であると見なすことが可能である。レーベンシュタイン距離の更なる一般化として、例えば一回の操作で二文字を変換する等の方法が考えられる。 例[編集] 実際的な距離の求め方を例示すれば、「kitt
情報 - Wikipedia
この項目では、総論について説明しています。 高等学校の普通教科および専門教科については「情報 (教科)」をご覧ください。 Wikipediaテンプレートについては「Template:情報」をご覧ください。 情報（じょうほう、英語: information、ラテン語: informatio）とは あるものごとの内容や事情についての知らせ[1]のこと。 文字・数字などの記号やシンボルの媒体によって伝達され、受け手において、状況に対する知識をもたらしたり、適切な判断を助けたりするもの[1]のこと。 生体が働くために用いられている指令や信号[1]のこと。 （情報理論（通信理論）での用法）価値判断を除いて、量的な存在としてとらえたそれ 概説[編集] 情報とは何かという問いに、ただひとつの答えを与えることは困難である[2]。 対応する英語の "information" は、informの名詞形であり、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
