[B! 強化学習] endo_5501のブックマーク

人間の棋譜を用いずに評価関数の学習に成功 | やねうら王公式サイト

今回、新たに評価関数をゼロベクトルから学習させた。elmo絞りを使うと意外と簡単にApery(WCSC26)相当の棋力を持つ評価関数にまで出来るようだ。追試できるように記事の前半に手順を記しておく。また、記事の後半には何回目のelmo絞りでどの程度の強さであったかも示す。 elmo絞りを知らない人のために簡単に説明すると、今回、将棋ソフトが人間の棋譜を用いずに勝率の高い形を強化学習でソフト自らが自動的に覚えたということである。今回、1回に生成している教師の数は5億局面。対局回数で言うと400万局程度であろうか。それだけの対局を終局までこなすことで、どういう駒の位置関係だと勝ちやすいのかを学習したということだ。私は以前、elmo絞りを用いずにある程度の強さまでは到達出来たのだが、計算資源を湯水の如く消費するので途中で断念してしまった。今回はそのリベンジである。題して「Re : ゼロから始め

endo_5501 2017/06/12

“プロの棋譜なんて最初から要らんかったんや〜”

リンク

「DQN」とその3種のバリエーションの強化学習アルゴリズムを人工知能の研究団体「OpenAI」が公開 - GIGAZINE

テスラやSpaceXの創業者として知られるイーロン・マスク氏は、人工知能(AI)の非営利団体「OpenAI」の設立にも携わっています。このOpenAIが、強化学習アルゴリズム(RLアルゴリズム)の高品質な実装である「OpenAI Baselines」のうち、Deep Q-Learning(DQN)と3種類のバリエーションを公開しました。 OpenAI Baselines: DQN https://blog.openai.com/openai-baselines-dqn/ We're releasing OpenAI Baselines, reliable implementations of RL algorithms. Today: DQN & 3 variants: https://t.co/Mw0gCIwv1Z— OpenAI (@OpenAI) 「DQN」という略称は、Google

endo_5501 2017/05/27

強化学習

リンク

elmoがもたらしたオーパーツについて | やねうら王公式サイト

WCSC27で優勝したelmoがもたらしたのは、たった一行の革命だった。交差エントロピーで勾配を求めるとき、普通は次式のようになる。 dsig = eval_winrate – teacher_winrate; eval_winrateは、浅い探索(qsearch)の評価値を勝率に変換する関数(シグモイド関数を用いている)で変換したもの。 teacher_winrateは、深い探索(search)の評価値を勝率に変換する関数で変換したもの。交差エントロピーで勾配を求める場合、上式のように差をとるだけだ。この式の導出については、第4回電王トーナメントのときの白美神のPR文書にある。 elmo式の雑巾絞りはこの式を次のように改良した。 dsig = (eval_winrate -t) + 0.5 * (eval_winrate – teacher_winrate); tはこの局面の手番側が

endo_5501 2017/05/23

強化学習

リンク

深層強化学習ライブラリChainerRL - Preferred Networks Research & Development

Chainerを使った深層強化学習ライブラリChainerRLを公開しました． https://github.com/pfnet/chainerrl PFNエンジニアの藤田です．社内でChainerを使って実装していた深層強化学習アルゴリズムを”ChainerRL”というライブラリとしてまとめて公開しました．RLはReinforcement Learning（強化学習）の略です．以下のような最近の深層強化学習アルゴリズムを共通のインタフェースで使えるよう実装してまとめています． Deep Q-Network (Mnih et al., 2015) Double DQN (Hasselt et al., 2016) Normalized Advantage Function (Gu et al., 2016) (Persistent) Advantage Learning (Bellemar

endo_5501 2017/02/21

強化学習

リンク

ポストビッグデータとしての強化学習が将棋ソフトを変えた | やねうら王公式サイト

Bonanzaメソッドが公開されたとき(2006年〜)、棋譜さえあれば将棋ソフトは自動的に強くなるのではないかと人々は思った。その考えは概ね正しかった。評価関数の表現の限界までは棋譜さえあれば、理論上は強くなる。しかしその肝心の棋譜が圧倒的に足りていなかった。3駒関係(KPP)には1億次元以上のパラメーターがあったからだ。 1億の未知数を決定するためには、(N元一次連立方程式だとして)少なくとも1億個の方程式が必要だ。実際には、未知数の10〜100倍の方程式(≒教師局面)が必要だ。オンラインで入手可能なプロの棋譜は3万棋譜ほどしかなかった。局面数で言っても300万局面程度。300万局面で1億個のパラメーターが調整できるのか？できない。全くと言っていいほど足りていない。そして、我々は、全く足りていないことにもあまりに無自覚であった。当時は「入玉のときの評価値が少しおかしいな。入玉の棋

endo_5501 2016/11/05

“大抵の分野においてビッグデータなんてどこにも転がってなんていないのだ。そういう分野においてデータ自体を自己生成しなければならない”