強化学習未経験者がテトリスの AI を作ってみた話

はじめに この度、強化学習によるテトリスの AI を作成してみました。想像以上にうまくいき、最終的には半永久的にラインを消してくれる AI に成長してくれたので、今回はその記録として AI を作成した過程をここに記していきます！ 今回の AI の概要 今回作成したテトリス AI の概要は以下の通りです。 特定のゲームの状態から可能な行動パターンを全てシミュレーションする 行動後の状態を入力情報として Neural Network に今後の報酬の期待値を推測させる 今後の報酬の期待値が一番高くなる行動を実際の行動として選択して遷移する (貪欲方策) Game Over になるまで 1 ~ 3 を繰り返す Tetris AI を可視化した図 何も知らない頃は『AI ってどうやって動いてるんだ？』と自分は思っていたんですが、動作原理は非常にシンプルです。強化学習とは、この今後の報酬の期待値を推測

[pwatermark]

spin対応したうえで、場のブロック総量とか高いところの高さとかを評価に入れる、パフェ報酬デカ目に入れる、とかすると、だいぶモダンな感じになりそうだね

[misshiki]

“ AI を作成した過程” コードも公開している。

[matarillo]

おおすごい。テトリミノの速度アップ（左右の端に移動させきる前に着地することもある）に対応するのはどのくらい大変だろう