ハーバード大の授業で使われている確率の教科書（PDFでフリー公開） 学部で習う教養的な部分から，マルコフ連鎖モンテカルロ，ポアソン課程のような応用上重要なところまで，馴染み深い現実の事象と関連付けて解説 Rによる実装の話題や，分野… https://t.co/KO2awL9r6h
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
えるエル on Twitter: "ハーバード大の授業で使われている確率の教科書（PDFでフリー公開） 学部で習う教養的な部分から，マルコフ連鎖モンテカルロ，ポアソン課程のような応用上重要なところまで，馴染み深い現実の事象と関連付けて解説 Rによる実装の話題や，分野… https://t.co/KO2awL9r6h"
ハーバード大の授業で使われている確率の教科書（PDFでフリー公開） 学部で習う教養的な部分から，マルコフ連鎖モンテカルロ，ポアソン課程のような応用上重要なところまで，馴染み深い現実の事象と関連付けて解説 Rによる実装の話題や，分野… https://t.co/KO2awL9r6h
今回の目的 前回までに青空文庫から梶井基次郎の著作をダウンロードしたり、形態素解析を行うためにMeCabをインストールしたりしてきました。今回は、いよいよこのデータを使って文章を生成してみます。といっても、まだディープラーニングの分野には踏み込むことはしません。ここでは「マルコフ連鎖」と呼ばれる手法を使って、文章を生成してみるだけです。 実際にはこんな文章が生成されました。 そして私は友の反省の為の金を貸してくれました。 何しろ俺は大嫌いなんだよ。 あの窓の外で、孫にあたる人間を集めてゐた。 一台の赤い実が目にも堪えることのない、早く返事をしながら涙をためた。 正直なところ、「うーむ」という文章も多いのですが、失敗も含めてやってみることが大事です（生成されたものが短文であれば、日本語としても解釈できるものもありますが、長文になると意味不明なものにしかなりませんでした）。 文章を生成するだけ
ツリー形式で示すとこんな感じです。 マスク └── する └── なぜなら ├── マスク警察 │ ├── うるさい │ └── 防止 └── 花粉症 ├── うるさい └── 防止 さてここで！ 「マスク する なぜなら 花粉症 うるさい」という文は、いかにもおかしな文章です。「花粉症」までは、まぁいいでしょう。しかし、「花粉症 うるさい」はもう錯乱していますよね、文学的です！ これはなぜか。定義通りに過去の状態を全く考慮していないし、「花粉症」に連鎖するのは、「うるさい」、「防止」という単語から２分の１の確率だけで決まるからです。 作成手順概要 さぁ、簡単なイメージがつかめたところで、Python を使って実装していきます。マルコフ連鎖自体はmarkovify という専用ライブラリがあるので、それを使えば簡単にできてしまいます。しかし、今回はマルコフ連鎖の仕組みを体感をするため
追記 (2020/01/14) BERT 版はこちら masaki925.hatenablog.com はじめに こんにちは。ヴァイブス満タンですか？ この投稿は LINEBot&Clova Advent Calendar 2018 の14日目の投稿です。 一昨年、昨年 に続いて、ラップボットの第3弾となります。 昨年はDopeLearning を使って、ノスタルジックなラッパー、ピーさんをリリースしました。 昨年を振り返って反省したこととしては、「バトル感が無い」ということでした。 そこで今年はもっとバトル感を醸成すべく、世のラッパーたちが過去に残したパンチラインを学習し、前人未踏のパンチの効いたヴァースをかますラッパーを生み出したいと考えました。 そこで目をつけたのが、「マルコフ連鎖」という文章生成モデルです。 マルコフ連鎖での文章生成については、下記の記事がわかりやすかったので紹介さ
マルコフ過程 wikipediaには以下のように説明されています。 マルコフ過程（マルコフかてい、英: Markov process）とは、マルコフ性をもつ確率過程のことをいう。未来の挙動が現在の値だけで決定され、過去の挙動と無関係であるという性質を持つ確率過程である。 今日の天気が晴れなら明日の天気は８０％で晴れ、２０％で雨ということが分かっていれば、未来の挙動（明日の天気）が現在の値（今日の天気）で決定されるので、これはマルコフ過程です。 wikipediaには以下のように説明されています。 マルコフ連鎖（マルコフれんさ、英: Markov chain）とは、確率過程の一種であるマルコフ過程のうち、とりうる状態が離散的（有限または可算）なもの（離散状態マルコフ過程）をいう。 離散的とは状態と状態が切り離されている、ということです。 サイコロは１、２、３、４、５、６の６つの状態をとり、１
![[Python]N階マルコフ連鎖で文章生成 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c9c6cb08f98734aec7acdf8e7b9f127322ab3623/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVETiVFOSU5QSU4RSVFMyU4MyU5RSVFMyU4MyVBQiVFMyU4MiVCMyVFMyU4MyU5NSVFOSU4MCVBMyVFOSU4RSU5NiVFMyU4MSVBNyVFNiU5NiU4NyVFNyVBQiVBMCVFNyU5NCU5RiVFNiU4OCU5MCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NWRlNjUzZjMwZjgwMmY4ODA0NDBhNDc0NjkwNmY2M2I%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrLWppbW9uJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hM2M2YzNlOTlkMzdkYTZiZTc1Y2E3MWI4N2Y2NzA4Nw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D6092ae84fe85f7c84bb7dd3cfc92d2d5)
■初めに こちらの記事ではマルコフ連鎖モンテカルロ法に関する解説をpythonのコード付きで行っております。 実装したものを用いたい場合にはnotebookを下記のGitHubレポジトリにアップしていますので、クローンを行って使用してください。 https://github.com/YusukeOhnishi/BayesianStatistics ■モンテカルロ法 モンテカルロ法についてまずは見ていきます。これは乱数を用いた数値計算となっています。例えば、円の面積を求めるといったものが代表的な例です。また、モンテカルロ法では一般的に、ランダムに打つ点の個数を多くするほど精度が良くなっていくことが知られています。 下記の実装では円の面積を求める計算をモンテカルロ法を用いて行っています。この結果を見ると今回の場合の正解値(0.7854)に収束してい様子がわかります。 N_monte_list=
Vim script でマルコフ連鎖
はじめに この記事は Vim Advent Calendar 2020 の記事、 ではありません。 ふと Vim script でマルコフ連鎖させたら面白いんじゃないかと思ってチョロっと作ってみました。 マルコフ連鎖とは 文章に現れる語句とそれに連なる語句でツリーを構成する場合、その枝には頻出度が出来上がります。例えば「吾輩も」という文章が２つ、「吾輩は」という文章が1つある場合、「吾輩」から「も」に進む確率は「吾輩」から「は」に行く確率よりも高くなります。この様に現在の状態(吾輩)の次の状態(も|は)が、吾輩の前の語句に依存せず決定される状態を マルコフ性 といい、一連の確立変数の列を マルコフ連鎖 と呼びます。 P(X_{t+1}∣X_{t},X_{t−1},…,X_{1})=P(X_{t+1}∣X_{t}) 図で表すと以下の様になります。 引用: シェルスクリプトで作る Twitte
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マルコフ連鎖を用いて「見た目に自然な日本語のダミーテキスト」を生成するサービスが登場【やじうまWatch】
［文章生成］マルコフ連鎖で文を生成してみよう
マルコフ連鎖で自動文章生成をする【Pythonによる自然言語処理超入門】
マルコフ連鎖でラップボットつくった - Rock Book
[Python]N階マルコフ連鎖で文章生成 - Qiita
Pythonによるマルコフ連鎖モンテカルロ法(MCMC) - Qiita
grandfleet.info
akekurenote.hatenablog.com
note.com/obakeweb
www.rbbtoday.com
mhealthwatch.jp
idobata-kaigis.com