KerasでDeep Learning：LSTMで日経平均株価を予測してみる - データサイエンティスト(仮)
導入 前回までで、画像データに関してDeep Learningを試してきました。画像データは、各データが独立と期待されるようなタイプのデータです。しかしながら、Deep Learningはこのような各データが独立であるような場合だけでしかできないというわけではありません。データ間に相関がある場合の代表例として、時系列データがあります。今回は、時系列データに対して威力を発揮するネットワークをKerasで実装してみます。 使用データ 人工データを使うのもあれなので、より現実的で身近なデータを使ってみます。今回は、日経平均株価の終値（日次）を使います。日経平均株価のデータは、以下のサイトからダウンロードしました。 日経平均株価 1時間足 時系列データ CSVダウンロード あるだけ（2007年以降）全てダウンロードし、それらを結合して一つのファイルを作っておきます。 終値（finish）をプロット
ディープラーニングで株価予測するときの罠
みなさん、ティープラーニングで (株価|為替) やってますでしょうか？私は先月は今まで書いていなかったテストを書き、今月は他の出費が多すぎて GPU を回す余裕が無いため進捗はほぼありません本当にありがとうございました。 さて今回はディープラーニングでの株価予測についてです。ディープラーニングで株価を予測しようとする際に真っ先に思いつくモデルが LSTM です。LSTM は時系列データの処理に向いており、なんと偶然にも株価データも時系列データなのでこれを使えば上手く株価を予測できるのではないかと思うのは当然といえば当然です。しかし、実際やってみると上手く行かないことがほとんどだと思います。そこで、上手く行かないパターンのうちの 1 つを考察していきます。 使用するデータ http://k-db.com/indices/I101 の日経平均株価 2007 年 〜 2017 年の日足データを使
Deep LearningでBitcoinの価格予測をやってみる - Qiita
夏休みの自由研究 〜不労所得の夢〜 せっかくCourseraでCertificateを取ったので、機械学習なりDeepLearningなりで何か作ってみようという夏休みの過ごし方です。 世の中には偉い人がいて、すでに飽きるほど試されたアプローチがあり、そこに対して勉強したなりの考察力を持ってトライしてみます。 将来的には精度の高いモデルを作って夢の不労所得を作って税金払っていきたいですね 導入 勉強したりしてたら1日かかりました。 環境構築 機械学習の初心者でもすぐに出来るTensorFlowのインストール方法 もう色んな人がやっているので、真似してください。気をつけるのはPython3でやるってことですね、pyenvなどで使うバージョンを指定するといいでしょう。 たぶん10分くらいでできると思います。 ライブラリ Keras Kerasは，Pythonで書かれた，TensorFlowまた
TensorFlowを使った為替(FX)のトレードシステムを作るチュートリアル ～システムのセットアップからトレードまで～ - Qiita
TensorFlowを使った為替(FX)のトレードシステムを作るチュートリアル ～システムのセットアップからトレードまで～機械学習システムトレードTensorFlowjiji 機械学習ライブラリ「TensorFlow」と、オープンソースのシステムトレードフレームワーク「Jiji」を組み合わせて、機械学習を使った為替(FX)のトレードシステムを作るチュートリアルです。 システムのセットアップからはじめて、機械学習モデルの作成、トレーニング、それを使って実際にトレードを行うところまで、具体例を交えて解説します。 システム構成 次のようなシステムを作ります。 Jijiのバックテスト機能を使ってトレードデータを収集。これをTensorFlowに入力してモデルをトレーニングします。 予測する内容については後述。 訓練したモデルを使って予測結果を返すREST APIを作り、トレード時にJijiから呼び
機械学習をゼロから1ヵ月間勉強し続けた結果 - Qiita
追記 2018年の機械学習勉強法などをまとめました！ 2018年版もっとも参考になった機械学習系記事ベスト10 はじめに 2016/12/14 から約1ヵ月間、機械学習の勉強をし続けました。これは会社の自由研究という制度を利用させて頂いて、1ヶ月間は業務から離れて、機械学習の勉強だけをやり続けた記録です。 勉強してきたもののうち教師あり学習までは、Qiita にその記録をまとめましたので過去記事一覧からご覧ください。 過去記事一覧 1日目 とっかかり編 2日目 オンライン講座 3日目 Octave チュートリアル 4日目 機械学習の第一歩、線形回帰から 5日目 線形回帰をOctave で実装する 6日目 Octave によるVectorial implementation 7日目 ロジスティック回帰 (分類問題) その1 8日目 ロジスティック回帰 (分類問題) その2 9日目 オーバーフ
機械学習に必要な最急降下法の実装に必要な知識まとめ - Qiita
機械学習を1ヵ月で実践レベルにする 13日目 この記事は「機械学習を機械学習を1ヵ月で実践レベルにする」シリーズの13日目の記事です。 初日の記事はこちら 機械学習を1ヵ月で実践レベルにする #1 (とっかかり編) その他の記事は、本記事の末尾にインデックスをつけています。 それでは本題へ。 最急降下法 - Wikipedia 関数（ポテンシャル面）の傾き（一階微分）のみから、関数の最小値を探索する連続最適化問題の勾配法のアルゴリズムの一つ。 機械学習というものが何をするかざっくり説明すると、大抵は目的関数(コスト関数)を定義して、その目的関数が最小になるパラメータを決定するという流れで問題を解決します。その、目的関数を最小化するときにこの最急降下法が活躍します。英語では、Gradient descent といいます。 まず絵で考える 例えば、$ f(x) = (x-3)^2 $ という関
『仕事ではじめる機械学習』著者座談会：前編 きっかけは「没原稿の供養プロジェクト」だった【AI people：vol.7】 | Team AI Blog
HOMEAI People『仕事ではじめる機械学習』著者座談会：前編 きっかけは「没原稿の供養プロジェクト」だった【AI people：vol.7】 緊急企画！ 本日から３回連載で、話題の書籍『仕事ではじめる機械学習』（O’REILLY）の著者インタビューをお届けします。 2017年10月に電子版が出版され、瞬く間にEbook Storeの2017年下半期売上１位に駆け上がった本書。1月16日に、紙版の書籍も刊行されました。 今回インタビューに参加してくださったのは、有賀康顕（ありが・みちあき）氏（@chezou）と中山心太（なかやま・しんた）氏（@tokoroten）。1時間以上に渡り、出版裏話からエンジニアへのアドバイスまで広く伺いました。 「没原稿の供養プロジェクト」から生まれたヒット作 ーこんにちは！ 今日はよろしくお願いします。書籍の内容について詳しく伺う前に、まずお二人のお仕事
コンピュータ将棋におけるディープラーニングの考察 - TadaoYamaokaの開発日記
先日の日記で、コンピュータ将棋とAlphaGoについて言及したが、次のPonanzaがディープラーニングに成功したということで、どのように適用しているのかが気になっている。 そこで適当に考察してみる。 電王戦のインタビューでもプロの棋譜との一致率について言及していたことから、学習しているのは評価関数ではなく方策(policy)であると思われる。 入力に盤面の情報を与えて、出力に指し手の確率を出力する関数である。 入力 ポイントとなるのが、入力の盤面の情報の与え方であると思う。 AlphaGoでは19×19の各座標の白石、黒石、空きで3チャンネル(2値)の情報と、アタリやシチョウなどの若干の囲碁の知識を特徴量として各チャンネルに割り当て、合計で48チャンネルのデータを入力としていた。 将棋では、駒の種類が多いため、成りを含めた14種類のコマ数分のチャンネルが必要になる。 また、持ち駒もあるた
DeepLearningで上司を認識して画面を隠す - Qiita
背景 仕事をしているとき、業務に関係ない情報を閲覧していることって誰でもありますよね？ そんなときに背後にボスが忍び寄っていると気まずい思いをします。もちろん急いで画面を切り替えれば良いのですが、そういう動作は逆に怪しまれることになりますし、集中しているときは気がつかないこともあります。そこで怪しまれずに画面を切り替えるために、ボスが近づいてきたことを自動的に認識して画面を隠すシステムを作ってみました。 具体的にはKerasを用いてボスの顔を機械学習し、カメラを用いて近づいてきたことを認識して画面を切り替えています。 ミッション ミッションはボスが近づいてきたら自動的に画面を切り替えることです。 状況は以下のような感じです。 ボスの席から私の席まではだいたい6,7mくらいです。ボスが席をたってから、4,5秒で私の席に到達します。したがって、この間に画面を隠す必要があるわけです。時間的余裕は
TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる CNN編 - Qiita
前回までRNN(LSTM)や他の識別器で為替の予測を行ってきましたが、今回はCNNで予測をしてみたいと思います。 第１回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる 第２回 ディープじゃない機械学習で為替(FX)の予測をしてみる データの準備 前回まで終値の差分を学習データとしていましたが、今回は終値そのものを学習データにしてみます。 また、今回はUSDJPYの１時間足、2008年1月1日〜2017年3月10日を利用し、前半95%を学習、後半5%をテスト（バリデーション）としました。 CNNは画像認識で高い精度を発揮していますが、画像以外でも応用することは可能です。例えば終値が以下のようなデータがあったとします。 これを画像に変換します。 このように１次元の画像と見なすことができます。 色が複数チャネルあるように見えますが実際はグレースケールです。カラーマッ
TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる - Qiita
機械学習で何ができるの？深層学習（ディープラーニング）だと何が違うの？ というのは他の方に任せるとして、やっぱりMNIST以外のデータで色々試してみたいですよね。 というわけで為替(FX)の予測でもやってみます 関連シリーズ - 第１回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる - 第２回 ディープじゃない機械学習で為替(FX)の予測をしてみる - 第３回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる CNN編 他の方の研究、記事など 調べてみると色んな方がやっています。この辺とか、Qiitaだと以下が有名なようです。 [TensorFlowで株価予想] 0 - Google のサンプルコードを動かしてみる TensorFlowを使った為替(FX)のトレードシステムを作るチュートリアル 学習に用いるデータを大きく分けると以下で
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
趣味用に安く深層学習PCを作った - Qiita
趣味でディープラーニングで遊ぶためのPCを作ったので、メモ。 前提 趣味ならクラウドでいいじゃん、と思われるかもしれないが、AWSのGPUインスタンスだと1時間に100円くらい取られる。GAN系の画像の生成とかやりたい時は、様々なパターンを試してみて、いいものができるか試行錯誤するので、結構使う。 AWS止め忘れて過大な請求くるのも怖い。あくまで趣味の範囲なので、のびのびと遊べるローカル環境の構築を行った。 もともと使ってたPCは、 Intel Core i7 4770 メモリ8G GTX 750Ti に、Ubuntu入れて使っていた。色々できないので、ディープラーニング専用機を構築しようと決意。 GPU まずはGPU。趣味用とは言え、GPUをケチるとやりたいことができない。特にメモリサイズは重要。モデルの読み込みに支障が出たり、学習時のバッチサイズに影響が出てくる。 2016/1/30現
scikit-learn - Wikipedia
scikit-learn（サイキット・ラーン、旧称: scikits.learn）は、Pythonのオープンソース機械学習ライブラリ[2]である。サポートベクターマシン、ランダムフォレスト、勾配ブースティング、k近傍法、DBSCANなどを含む様々な分類、回帰、クラスタリングアルゴリズムを備えており、Pythonの数値計算ライブラリのNumPyとSciPyとやり取りするよう設計されている。 教師あり学習と教師なし学習に対応している。ただし、強化学習・深層学習・グラフィカルモデル（隠れマルコフモデルなど）・シーケンス予測には対応しない方針となっている[3]。 概要[編集] Scikit-learnプロジェクトは David Cournapeau によるGoogle Summer of Codeプロジェクト、scikits.learnとして始まった。名前は「Scikit」 (SciPy Tool
pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm
scikit-learn(sklearn)の日本語の入門記事があんまりないなーと思って書きました。 どちらかっていうとよく使う機能の紹介的な感じです。 英語が読める方は公式のチュートリアルがおすすめです。 scikit-learnとは？ scikit-learnはオープンソースの機械学習ライブラリで、分類や回帰、クラスタリングなどの機能が実装されています。 また様々な評価尺度やクロスバリデーション、パラメータのグリッドサーチなどの痒いところに手が届く機能もあります。 インストール scikit-learnの他にもnumpyとかscipyとかが必要です。 Windows 64 bit版の人は以下のURLに色々なインストーラーがおいてあるのでおすすめ Python Extension Packages for Windows - Christoph Gohlke その他の人は以下のURLを見て
機械学習で次に声がつきそうなモバマスアイドルを予測できるのか？（データ収集編） - Dreamdancer - 更新終了
こんにちは。烏龍茶です。 最近モバマスをやめた人の話がバズったり弊ブログでもお気持ちを表明したりしていますが、今回はちょっと前に始めた機械学習の話の続きを書きたいと思います。なんというかもっとお気持ち的な話で長文をしたためたい気持ちもありますが、それは後日ということで。 ※機械学習等にあまり詳しくない方にも分かりやすいように説明するつもりですが、分からない点があればコメント等で質問してもらえれば答えます。 ※筆者はほとんど素人なので、本職の統計屋さんや人工知能屋さんから見て不正確である・誤っている部分があればそれとなく指摘していただけると非常に有り難いです。 ※前回の記事はこちら。 今回やりたいこと 分類器を作るにあたって必要そうな、モバマスアイドルに関するデータは何かを考える 本当にそのデータが必要なのかどうか考える（正確には、この手順がなぜ必要なのか説明する） 必要なデータはどれか？
TensorFlowによるディープラーニングで、アイドルの顔を識別する - すぎゃーんメモ
以前は MNISTの例を使って画像識別を試してみた けど、次はカラー画像についての識別を試してみる。 「アイドルなんてみんな同じ顔に見える」って 最近も言われてるのかどうか知らないけど、自分もつい5年前くらいまではそう思っていたわけで。その識別を機械学習でやってみよう という試み。 最近はほとんどライブに行かなくなってしまったけど大好きなももいろクローバーZちゃんを題材にしてみることに。 5人のメンバーの顔は機械学習によってどれくらい分類できるようになるのか？？ CIFAR-10 CIFAR-10 という、32×32サイズのカラー画像を10種類のクラスに分類する識別課題があり、そのデータセットが公開されている。これを実際にTensorFlowで学習するための畳み込みニューラルネットワークのモデルや関数などがtensorflow.models.image.cifar10パッケージに同梱されて
[テスト] 畳み込みニューラルネットワークを用いたモノクロ動画の自動彩色 | BLOG | Nao Tokui / 徳井直生
遅ればせながら… 2016年もよろしくお願いします. 今年のお正月、元旦から体調を崩してしまったために期せずして寝正月となってしまいました。その間、ベッドに横になりながら、なんとなくNHK BSを見ていたのですが、「映像の世紀」のデジタルリマスター版の再放送に釘付けになってしまいました。気づいたら元旦はほとんどぶっ通しで見ていたように思います。 その中で感じたのは、ぼやけた白黒映像からクリアなカラー映像になるだけで、歴史映像の視聴体験が体感として大きく異なるということです。山に囲まれた別荘で愛犬と戯れるヒトラー。映画プラトーンさながらにベトナムの村を焼き払うアメリカ兵。鮮明なカラー映像として目の当たりにすることで、歴史が「遠い昔のこと」ではなく、いまにつながる自分ごととして感じられる、そんな風に思いました。昨今憲法改正などをめぐっての議論がきなくさくなりつつある昨今ですが、もし仮に太平洋戦
![[テスト] 畳み込みニューラルネットワークを用いたモノクロ動画の自動彩色 | BLOG | Nao Tokui / 徳井直生](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7b1f7f1ac8541fe819e5f1216dba46c2cd6d588/height=288;version=1;width=512/https%3A%2F%2Fnaotokui.net%2Fwp-content%2Fuploads%2F2016%2F01%2FScreen-Shot-2016-01-20-at-1.17.46-PM-800x445.png)
最近流行の機械学習、高度な統計処理との違いはどこにあるのか
機械学習が大流行だ。ここ最近、「機械学習を活用した×××」であるとか「機械学習技術を応用した×××」と言った発表がわんさかある。ところが、これらの発表会に参加してみると「それって本当に機械学習技術なの？」と頭の中にクエスチョンマークが浮かぶようなものもちらほら。機械学習と高度な統計処理の違いはいったいどこにあるのか、はたまた機械学習は人工知能（AI）の一種なのか。 「AIには裏定義があって、それが実現できてしまえばすでにAIではなくなるなんて話もあります。機械学習についても、実は同じような面があると思います」と話すのは、国際大学GLOCOM 准教授で主任研究員の中西崇文氏だ。中西氏の専門分野はビッグデータやデータ分析、特に相関分析に関わる技術の開発だ。さらにはメディア論、人間の感性をコアとして異種、異分野の協働による価値創生に関わる問題なども対象に研究を行っている。 中西氏によれば、機械学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株式会社MICIN
