なるほどそうか、「機械学習モデル」を高1数学で理解する
機械学習をマスターする上でカギとなる、「損失関数」。機械学習モデルにおいて、予測値と正解値（正解データ）がどの程度近いかを示す指標となる関数です。 そのイメージをより具体的に持つため、簡単な例題をここで扱ってみましょう。解を導き出すのに少し時間がかかりますが、「偏微分」などの高度な数学は全く使いません。 2次関数など高校1年生レベルの数学をおさらいしながら解説していきます。一通り読めば、「数学を使って機械学習モデルを解く」というイメージがつかめるので、ぜひ解を導くところまで読み進めてください。 題材として「単回帰」と呼ばれる、1つの実数値の入力（x）から1つの実数値（y）を予測するモデルを取りあげます。具体的な処理内容としては、成年男子の身長x（cm）を入力値に、体重y（kg）を出力値とするようなモデルを考えることにします。モデルの内部構造は「線形回帰」と呼ばれるもので考えます。 線形回帰
[Python]機械学習などでテキストデータを特徴量にする際のソースコード集
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 （2019/08/18 追記）Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特
![[Python]機械学習などでテキストデータを特徴量にする際のソースコード集](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
ダイソー快進撃を支える｢毎晩105億件データ処理｣する需要予測システムはどう生まれたか
小売業の特徴は、いわゆる｢ニッパチの法則｣（売り上げを支える売れ筋商品は全体の2割という法則）。いかにして売れ筋商品の在庫を把握し、将来の需要を予測して、欠品なく並べ続けるかは生命線だ。 一方、ダイソーの特徴は、取り扱う商品点数が非常に多いことだ。 大創産業情報システム部課長の丸本健二郎氏によると、ダイソーは全世界27カ国で5270店に展開し、新商品は毎月約800。｢均一価格｣は日本と同じだが、価格レンジは各国地域の物価に合わせている。 こういう状況では、｢人間の能力では在庫を把握するのは難しい｣という前提に立って、丸本氏が取り組んだのが、POSデータの統計的解析から個店ごとの需要予測をして欠品をなくす｢自動発注システム｣（2015年導入）だった。 着想後、いくつかの店舗で試験的に導入したところ、着実に欠品率が下がり、｢チャンスロス｣が解消された。
ゲームソフトの中で使用されずに眠っている音楽や画像など大量の没データをまとめた「The Cutting Room Floor」
ゲームやソフトの中には、存在しているにもかかわらず結局使用を見送られてしまった「没データ」が眠っていることがあります。普通に遊んでいれば没データを確認することはできませんが、ゲームソフトをPCで解析したり、ソフトの改造・バグ技によって発見されることがあります。こうした没データの画像やムービーを集めているサイトが「The Cutting Room Floor」です。 The Cutting Room Floor https://tcrf.net/The_Cutting_Room_Floor 一例として、1997年にPlayStationで発売された「ファイナルファンタジーVII」の没データはどんなものがあるのか調べてみます。左カラムにある「Games」欄の、「By platform(対応ゲーム機)」「By series(ゲームシリーズ)」「By content(没データの種類)」「By re
みんなのウェディングのデータ分析基盤の現状 — みんなのウェディングエンジニアリングブログ
こんにちは、みんなのウェディングの小室 (id:hogelog) です。 今回はみんなのウェディングにおけるデータ分析基盤の現状についてご報告させていただきます。 三行まとめ 忙しい人のために先に結論を書くと bricolage と embulk で Redshift に集めて re:dash で分析 です。 データ収集 データ収集は bricolage のジョブネット機構を用いて bricolage の各種ジョブや embulk を連携させ、Redshift にデータを取り込んでいます。 参考までに https://github.com/hogelog/dwh-example に簡単な構成例を準備しました。 MySQL → Redshift みんなのウェディング http://www.mwed.jp/ のデータベースとしては MySQL を利用しています。 MySQL から Redshi
競馬の予測をガチでやってみた - stockedge.jpの技術メモ
基本的に競馬なんてやるべきではないと私は思っている。胴元の取り分が多いからだ。宝くじに比べればまだましだが、それでも賭け金の20～30%は胴元に取られることになる。*1 しかし今回は、ちょっと思い立って競馬の予測をやってみることにした。 理由は馬券の安さだ。私は現在、資金量が少ない人間でも不利にならない投資先を探しているのだが、馬券の一枚100円という安さは魅力的に映る。株の場合にはどんな安い株であれ最低購入額は数万円以上*2なので、ある程度まとまった資金が必要になる。 また、競馬には技術介入の余地（努力次第で勝利できる可能性）がある。 例えばこんな例がある。 １６０億円ボロ儲け！英投資会社が日本の競馬で荒稼ぎした驚きの手法 - NAVER まとめ 彼らは統計解析によって競馬で勝っており、その所得を隠していたらしい。こういうニュースが出るということは、解析者の腕次第では競馬で勝てる可能性が
年収「300万円未満」や「1000万円以上」の世帯がどの地域に多いのか一目で分かる「世帯の年間収入マップ」
by Personal Creations 総務省統計局が公開している平成25年住宅・土地統計調査の中には「世帯の年間収入階級(5区分)」というデータがあり、「300万円未満、300万円〜500万円、500万円〜700万円、700万円〜1000万円、1000万円以上」の世帯がどのくらいあるかが調査されているのですが、そのデータを地図上にマッピングしたのが「世帯の年間収入マップ」です。「年収1000万円以上の世帯が5％を超える地域」など指定することで、どの地域にどういう年収の世帯が多いのかが一目でわかるようになっています。 世帯の年間収入マップ http://shimz.me/datavis/mimanCity/ ウェブサイトはこんな感じ。 画面左下から世帯年収を「300万円未満」「300万円～500万円」「500万円～700万円」「700万円～1000万円」「1000万円以上」に設定可能で
MySQLテストデータを自動生成&インポートする、PHPライブラリ「MagicalGirl」を公開 | LIVESENSE made*
テスト・開発に使用するデータ生成の必要性 動作確認テストや開発時に使用するデータベースのデータ、どのように準備していますでしょうか？毎回手動で作成している、本番環境から持ってくる。これらは一番良くない例ですよね。 毎回手動で作成していては、開発環境構築の度に、テスト実行の度に作業コストがかかり、オペレーションミスも発生しやすくなります。知っていないと用意できないデータ項目などもあるでしょう。それらを毎回一つ一つ確認するのは大変な作業です。 本番環境のデータを使用することが危険であることは言うまでもないと思います。個人情報を扱っているシステムであれば、情報保護の点から大変なリスクを犯す行為です。メールアドレスを保存してあるシステムであれば、オペレーションミスにより不要なメールを実際に送信してしまう危険性も伴います。 特に、動作確認の際に自動テストを実行する場合、想定通りのデータが入って
あきんどスシロー様とAmazon Machine Learningを用いた待ち時間予測の精度向上を実施しました ｜ Developers.IO
株式会社あきんどスシロー様とクラスメソッド株式会社はAmazon Machine Learning(以下、Amazon ML)を用いて、機械学習を用いた店舗混雑時の待ち時間予測の精度向上に取り組んでいます。 直近の取り組みでは、今までの方法では予測が困難であった一部の店舗に対して新手法で予測を行い、精度を向上することができました。今回はこちらの取り組みについて紹介したいと思います。 概要 券売機やスシローアプリなどに表示される入店までの待ち時間を予測するため、チケット情報・店舗の状態などからデータ分析を行い、特徴を抽出した上で機械学習を行いました。 各店舗では既に待ち時間予測のための仕組みが導入されていますが、商業施設内などの一部の店舗ではユーザが他店舗とは異なる行動をするため、別の切り口から予測を行う必要がありました。 今回は、この一部店舗を対象にTableauを用いてチケットデータ等の
猛暑日の増加
[2018-07-20] as.POSIXct() を as.Date() に変えました。 東京管区気象台の東京における雷日数や真夏日等の日数の変化というページを見ると，猛暑日（日最高気温35℃以上）の日数が1876年以来著しく増加していることがわかる。ところが，平均気温を見ると，地球温暖化・都市化の影響で徐々に増加しているが，激しく変わっているようには見えない。平均ではなくて猛暑日の日数を見るべきであるという議論もある。しかし，「猛暑日」（日最高気温35℃以上）や「真夏日」（日最高気温30℃以上）のような分布の裾の日数は，何℃で切るかによって印象が大きく異なる。気温変化を誇張することにならないか。 「東京」の観測地点は2014年12月2日に約900m離れた地点に移転している。詳しくは「東京」の観測地点の移転について（PDF，2014年11月14日，気象庁観測部）を参照されたい。 東京の日
東急ハンズのクラウドデザインパターン アーキテクチャー編
JAWS DAYS 2015 Big Track 「東急ハンズのクラウドデザインパターン」 アーキテクチャー部分の資料です。
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
統計局の公式アプリ『アプリDe統計』がちょっとデータがほしい時にかなり便利そう - Play Forward
ビジネスパーソンが資料作りなどで客観性を高くするために必要になってくる統計情報ですが、なかなかデータを探すのは面倒なもの。そこで統計局がお手軽に統計情報が分かるアプリをリリースしたので少し使ってみたのですが、これがちょっとしたデータがほしい時にかなり便利な優良アプリでした。 ◆ちょっとデータがほしい時にかなり便利な『アプリDe統計』 統計局の公認アプリというだけあって、統計局ホームページで探さなければゲットできないような統計情報がカンタンに分かります。 アプリを起動すると、地域ごとの統計情報、または日本にまつわる各種統計情報の2つを選択します。 ◆エリア別に統計情報がゲットできる 地域ごとの情報では、都道府県別にそれぞれ統計情報を入手できます。スマホアプリなのでGPS機能で現在地の市区町村データも分かるのが便利なところです。 例えば、目黒区だとこんな統計情報になっているようです。企業活動数
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習によるデータ分析 実践編
あなたのデータが消えるとき | Turn Clockwise Or Otherwise
言語処理100本ノック 2015
カップルが一緒にお風呂に入る割合をベイズ推定してみた