機械学習による株価予想の十八手 - Qiita
1. 株価はサプライズによって動く 株式相場には常にプロの投資家がうごめいており、各銘柄の各種業績数値を常に予想して投資活動をしている。そんな状況下において、仮に「売上が前年比2倍」という決算が発表されても、株価が2倍になるわけではない。むしろ3倍が予想されていたのに、2倍だったら失望売りとなる。つまり事前予想と比較してこそ意味があり、staticな値や過去実績との比較を特徴量にすることはあまり意味がない。事前予想と決算の乖離、または前回予想と今回予想の乖離こそが意味のある特徴量であると言える。 2. 業績数値の単純な変化率では株価インパクトは測れない 営業利益の事前予想100億円に対し、決算が200億円の場合、 変化率 = （ 実績 - 予想 ) / 予想 の計算式を使うと、変化率は100%となる。 この変化率を特徴量にするのは一見もっともらしいが、株においてはこれは使いづらい。 営業利
データサイエンティストとして読んで役立った本たち@2020-07｜だみ〜
2016年10月に未経験・新人データサイエンティストで雇ってもらいました。当時はまだ業界が牧歌的だったのと、比較的書類上のスペックが高い若者だったのもあり、運良く拾ってもらえたのでした。今だと100％受かってないです。 そんな私が今までで読んだ本の中で、役に立った本をつらつら書いていきます。 現代の若者がどんどん優秀になっているので、これくらいでいまんとこいっぱしのデータサイエンティスト（@ビジネスサイド）になれるんだなあという基準を述べようかと思いました。何年か後に振り返りたいですね。 もちろん、これが誰かの学習の役に立てばと思っています。 ちなみに、アフィリエイト入れてないので気にせず買っていってください。 数学無難に解析学と線形代数学を勉強しておくといいと思っています。
Pythonで作って学ぶ統計モデリング | AIdrops
Pythonで作って学ぶ統計モデリング 近年、AIや機械学習、深層学習といった用語に代表されるように、多種多様のデータを高度なアルゴリズムと計算機の力で解析し、将来予測などの価値を生み出す技術に注目が集まっています。 これらの技術の土台となっているのが、本記事で解説する統計モデリング（statistical modeling） と呼ばれる考え方です。元々は手計算が可能なレベルの比較的シンプルな数学的仮定を置いてデータを解析する方法論として発展しましたが、近年の計算機の性能発達に伴い、従来では取り扱えなかったより複雑なモデルを利用した高度な解析を実施する事例が増えてきています。特に、現在実践で広く使われている機械学習のモデルや、複雑な非線形関数を組み合わせた深層学習モデルなども、その多くは突き詰めれば統計モデルの一種であることが言えます。したがって、統計モデリングはそれ自体がデータ解析に対し
年末のご挨拶と近況、あるいは機械学習のはじめ方 - 怠惰を求めて勤勉に行き着く
あ、退職エントリとかではないです。雑多な駄文をお許しください。 2018年を振り返る 3月にカリフォルニア州パロアルトのラボに異動になって早くも3/4年が経ちました。 自分としてはまだ1年経ってないのかという感じです。もっと長く居るような気もするが、来たばかりのような感じもある。 生活には完全に慣れました。結局の所、生きていくだけなら "You need a bag?" に "No" だけ言えれば何とかなります。 家族のこと、子供のこと 家族が適応に苦しんでいます。特に子供は、8月からTKという公立小学校の下部組織に通っていますが、予想を遥かに超えて心を閉ざしたままです。 娘はとてもシャイで、思ったことが口にできません。非常に端的に言うと、生きる力が強くありません。象徴的なできごとが幾つかありました。 ある日、先生が陪審員の義務で代わりの先生が来た日、普段とは違う教室に預けられた。 お昼に
Python: 機械学習における不均衡データの問題点と対処法について - CUBE SUGAR CONTAINER
機械学習における分類問題では、扱うデータセットに含まれるラベルに偏りのあるケースがある。 これは、例えば異常検知の分野では特に顕著で、異常なデータというのは正常なデータに比べると極端に数が少ない。 正常なデータが 99.99% なのに対し異常なデータは 0.01% なんてこともある。 このようなデータセットは不均衡データ (Imbalanced data) といって機械学習で扱う上で注意を要する。 今回は、不均衡データを扱う上での問題点と、その対処法について見てみる。 なお、登場する分類問題の評価指標については、以前このブログで扱ったことがあるのでそちらを参照のこと。 blog.amedama.jp 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.2 BuildVersion: 18C54 $ python
中学生でもなんとなくわかるDeepLearningのアルゴリズム
人工知能（AI）やDeepLearning（ディープラーニング），この頃よく聞きますよね． しかし，いまいち何なのかよくわからないという人は多いのではないでしょうか． 私の周りの人たちも教養として興味はあるけれども，数式が出てくると何がなんだかという人が多いようです． また，人工知能やディープラーニングをビジネスに応用したいけど何ができるのか全く見当もつかないといった人も多いようです． そもそも，ディープラーニングとはなんのことなんでしょう．AIや機械学習との違いはどこにあるのでしょう． そこで今回はエンジニアや理系の学生でない人に向けて，ディープラーニング（主にその基礎となるニューラルネット）の仕組み，原理，アルゴリズムや種類，それが何の役に立つのかについて解説してみようと思います． このような場合には，よくわからない記号が出てくる数式は避けるべきだと思います． しかし，すべてを包み隠さ
KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」のPython実装 - u++の備忘録
今回は、KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」を紹介します。 Rでの実装は公開されていますが、Pythonでの実装は確認できなかったので、自前のPython実装も公開しています。 github.com アルゴリズムの概要 Pythonでの例 可視化のためのパッケージ読み込み サンプルデータの生成 可視化 K近傍を用いた特徴量抽出 可視化 iris での例 追記20180624 実装の修正 はてなホットエントリ入り アルゴリズムの概要 近傍数を、分類するクラス数をとした場合に、アルゴリズムは個の特徴量を生成します。生成される特徴量は下記のように、観測値と各クラス内の最近傍点との間の距離から計算されます。 とあるクラスに属する訓練データの中の第1近傍までの距離を1つ目の特徴量とする とあるクラスに属する訓練データの中の第2近傍までの距離の和を2つ目の
株価データの収集 - これからの「お金」の話をしよう
某株価データサイトが12月をもってデータ公開を終了するそうです。 今回はシステムトレードに使う株価データの収集について考えてみます。 1.株価データは一般公開してよいのか 株価データの公開には色々と問題が生じます。 まず、東証から購入したものを第三者に提供する場合、東証とのデータ配信契約が必要です。 次に、東証のサイトをスクレイピングしたデータを公開する場合、これは著作権法に抵触する可能性があります（というか抵触すると思います）。 東証のサイトに記載されているデータはQUICKまたはその提供元から提供されているものであり、著作権を含む一切の権利はQUICKまたはその提供元に帰属する、と謳われています。 株価データ以外の情報（サイトに記載されている図や写真など）の著作権も、東証に帰属しています。 最後に、他のデータ配信会社（証券会社やYahooファイナンスなど）から得たデータの場合、その著作
個人的に5年間のデータ分析業界見聞録をまとめてみた - 六本木で働くデータサイエンティストのブログ
(Photo credit: https://pixabay.com/en/data-dataset-word-data-deluge-1188512/) 人工知能ブームで世間が喧しい昨今ですが、それに伴って往年に見かけたような内容のビッグデータ論やデータサイエンティスト論や機械学習システム論が再び出回るようになってきているようで、歴史は繰り返す感を覚える今日この頃です。 ということで歴史が繰り返している感を再確認すべく、これまでのデータ分析業界の5年間を僕個人が見聞してきた範囲and/or記憶している範囲and/orサーベイできる範囲で振り返ってみようと思います。ほぼ完全に個人的にして私的なヒストリーのまとめですので、公的な用途には参照されぬよう厳にお願いいたします。。。また僕の守備範囲が「広告もしくはマーケティング」であるが故にこの2領域に偏っている点もご注意ください。特に機械学習サイ
If文から機械学習への道
機械学習とif文が地続きであることを解説しました。 ver.2 質問への回答を追加し、顧客価値の小問に図を追加してわかりやすくかみ砕きました。Read less
オープンデータ | OpenGovLab
日本におけるインターネットを活用して開かれた政府（オープンガバメント）の実現を目指し、さまざまな実証を行っているサイトです。オープンガバメントに関するさまざまな情報の収集、提供も行っています。Open Data オープンデータ 政府や公的機関ではそれぞれのが保持するデータは原則オープンとして積極的な公開を進めています。具体的にはデータの2次利用を妨げないライセンスを基本とし、機械判読式データやAPIの整備などウェブを通じて手軽にデータのダウンロードや利用ができるような環境を目指しています。 オープンデータの推進によって政府の透明性を高め、また、民間活動の支援につながるなどの効能が期待されています。
初心者向け「機械学習とディープラーニングの違い」をシンプルに解説
By darkday AI(人工知能)が大きな話題となっているコンピューターサイエンスの世界で、その技術を支えているのが「ディープラーニング」です。一方、コンピューターを使った「機械学習」という言葉を耳にすることも多いものですが、実はその違いがよくわからない人も多いはず。そんな両者の違いを、数学的計算ソフトウェア「MATLAB」の開発元であるMathWorksが簡単に解説しています。 Introduction to Deep Learning: Machine Learning vs Deep Learning - YouTube 機械学習もディープラーニングも、学習モデルを提供してデータを分類することに使われる技術です。その働きを解説するのによく用いられるのが、犬と猫の画像を分類するという例。この画像の場合、ほぼ全ての人が左が犬、右が猫と答えるはず。 しかし、別の画像を持ってきた時、それ
実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog
社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクターやエンジニアにとっては、どのような機械学習の理解段階ならばタスクを任せられるかの判断をするのはなかなか困難です。そこで、このエントリでは機械学習を実タスクでやるまでに乗り越えるべき壁だと私が思っているものについて説明します。 第一の壁: 綺麗なデータで機械学習の問題を解ける 講義で扱われるような綺麗なデータを扱える 行列形式になっていて、欠損値や異常値もない 上記のデータを回帰や分類問題として解くことができる 実際に解く際にはライブラリを使って解いてよい 手法を評価する上で何を行なえばよいか(Preci
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
機械学習に使える、オープンデータ一覧 ※随時更新 - Beginning AI
機械学習をやりたいんだけど、データがない！他のデータ使ってみたい！ そんな方のために、機械学習に使えるオープンデータを集めました。 他にも、このデータセットオススメ！というものがあれば、是非ご紹介して頂けると嬉しいです。m(__)m UC Irvine Machine Learning Repository カリフォルニア大学アーバイン校が公開した、データセット。351件のデータセットがあり後述する DATA GO に比べれば少ないが、ほとんどがMachine Learning用のデータ・セットなので、かなりオススメ。 UCI Machine Learning Repository かの有名なあやめの花（iris）のデータセットもここから見ることができます。 国立情報学研究所 情報学研究データリポジトリ データセット一覧 yahoo,楽天,ニコニコなどのデータがあります。 DATA.GO.
やる夫で学ぶ機械学習 - 序章 - · けんごのお屋敷
やる夫で学ぶ機械学習を書いてみました。 やる夫で学ぶ機械学習シリーズの第 1 回です。記事がとても長くなったので、分割してます。 目次はこちら。やる夫で学ぶ機械学習シリーズ 機械学習 やる夫 機械学習やってみたいけど、そもそもどうすりゃいいかまったくわからんお。Wikipedia を見たけど、何を言ってるのかさっぱりだお… やらない夫 お前、Wikipedia でわかるわけがないだろ、常識的に考えて… やる夫 そうなのかお…。しかも、やたら数式が出てきて、日本語でおｋって言いたくなるお。 やらない夫 確かに数式は出てくるが、そもそも数式というのは日本語で言うと長ったらしくなるものを誰にでもわかるように厳密で簡潔に表してるものなんだぞ。というか、やる夫は機械学習で何がしたいんだ？ やる夫 えっ…、あーえーっと、ほら、アレだお…なんか、こう、パーッと、いい感じの… やらない夫 お前、ただ機械学
機械学習ってなんだろう - learning.ikeay.net
こんにちは、@ikeayです。 前回は人工知能とはなんぞやということに触れたので、今回は機械学習について学んだことをざっくりまとめます。 learning.ikeay.net 機械学習とは、ざっくりいうと何かを学習して何かを予測すること。最近流行ってるDeepLearningというやつも機械学習の一種です。 機械学習の種類は、大きく３つに分けられます。 教師あり学習 教師なし学習 強化学習 教師あり学習とは？ 教師あり学習は、学校のテスト勉強に似ています。問題集を解いて学習してからテストに挑む。これが教師あり学習です。教師といいつつリアル教師は出てこないですが… 問題と答え（機械学習ではこの答えのことを「ラベル」と呼びます）のセットから傾向を学習し、新しいデータがどこに分類されるか予測をします。 教師あり学習の中でも、だいたい分類問題と回帰問題に分けられます。 分類問題 こういうデータは
機械学習を利用したちょっとリッチな検索
検索対象のデータに機械学習を利用して情報を増やし、それをナビゲーションの軸として使ったり集計や可視化で利用すると面白いよ、という話。
リクルート、汎用機械学習プラットフォームを提供するDataRobot Inc.へ出資および人工知能研究所RITと事業提携 | リクルートホールディングス
株式会社リクルートホールディングス（本社：東京都千代田区、代表取締役社長 兼 CEO：峰岸真澄、以下リクルート）は、株式会社リクルートストラテジックパートナーズの運営する合同会社RSPファンド6号を通じ、汎用機械学習プラットフォームを提供するDataRobot Inc.（本社：米国マサチューセッツ州、CEO：Jeremy Achin）への出資を実施しました。併せて、リクルートのAI研究所であるRecruit Institute of Technology（以下、RIT）との事業提携を行いましたので、下記の通りご報告致します。 １．本件の目的および協業について 経営やさまざまなビジネスシーンでの意思決定においてデータ活用が重要である一方、それを支えるデータサイエンティストの不足が、多くの企業にとって課題となっています。リクルートは、DataRobot Inc.への出資および同社とRITの事業
「統計学と機械学習の違い」はどう論じたら良いのか - 渋谷駅前で働くデータサイエンティストのブログ
何かこんなメディア記事が出ていたようです。 これを読んで色々な人がツッコミを入れまくっている模様ですが、この記事の不思議なところは「完全に間違った説明というわけでもないのに何故か（両分野に詳しい）誰が読んでも猛烈な違和感を覚える」ところなんじゃないかなぁと。 正直、これはライター・インタビュアー・コメンテーター・編集者の誰のせいなのかは全く分からないんですが、ツッコミ入れられまくっている内容について色々あげつらってもあまり建設的でないので、ここでは記事中で本題として取り上げられている「統計学と機械学習の違い」についてちょっとコメントしてみようと思います。 あ、もちろん僕がこれから書くコメントも別に正しいとは全く限らないので、おかしいところや間違ってるところがあったらバンバン突っ込んでいただければ幸いです*1。そしてガチ勢向けのコメントでもないので何卒悪しからず。 統計学はデータを「説明」す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
