ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に
はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデータ分析基盤 に引き続き、今年もドリコムのデータ分析基盤を担当しています。 分析基盤をTreasure Dataに移行 オンプレ環境の Hadoop からTreasure Data に移行しました。 また、ジョブ管理ツールやBIツールといったサーバーもAmazon EC2 に移行しており、 徐々にオンプレ環境を離れつつあります。 背景 オンプレ環境で Hadoop を運用して3年も経つと考えなければならないのが HW の寿命です。 さてどうしようかとなった時に、ほぼ迷いなく外部
Hivemallを利用した機械学習実践入門 （第一回: ドラッグストアのセールス予測） - トレジャーデータ（Treasure Data）ブログ
本特集では、Treasure Data環境で利用可能な機械学習ライブラリHivemallを利用した機械学習の実践方法を紹介します。世界のデータサイエンティストが腕を競うデータサイエンスコンペティションサイトKaggleの中から、実践的な課題を扱っていきます。 1. はじめに 第一回は小売業の売り上げ予測するタスクであるRossmann Store Salesコンペティションを課題に用います。アルゴリズムとしては、決定木を利用したアンサンブル学習手法の一種であるRandom Forest回帰を利用します*1。 Rossmannはヨーロッパの７カ国で3,000以上の店舗を展開する薬局チェーンです。各店舗のマネージャーは6週間先までの店舗の売り上げを予測することがタスクとして課されています。各店舗の売り上げはプロモーション活動、競合要素、学校の休みや祝日、季節性、地域性など様々な要因に左右されま
TreasureDataで機械学習してみる | ADN LAB's Blog
この記事はTreasure Data Advent Calendar 11日目の記事です。 こんにちは、データマイニングチームのy_kawasakiです。（毎回所属が変わってます！） 最近、大量のデータを前に途方にくれていました。TreasureData（以下TD）という、武器を手に入れて、がっつりと戦っているところです。 TDにはHivemallという、Hive上で動くscalable machine learning libraryが実装されています。Hivemallの使い方はgithubのwikiによくまとめられているのですが、それは、あくまで、Hive上で動かすことを前提に書かれています。今回は、TD上で動いているHivemallを使いたいため、一部、変更したりする必要があります。 とりあえず、手を動かしたいということで、どこのご家庭にも常備してある、あやめのデータを使いたいと思い
トレジャーデータ、機械学習ライブラリを提供開始～複雑なプログラミング不要で機械学習の処理を可能に
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
【超入門】Hivemallで機械学習 〜Treasure Dataでロジスティック回帰編〜 | DACエンジニアブログ：アドテクゑびす界
こんにちは。俺やで。 ビッグデータとかデータサイエンティストとかいう言葉が未だブームですね。 （「データサイエンティスト」は下火か。） ビッグデータ扱えるエンジニアも、 統計解析ができるアナリストも、 どっちもできるスーパーマンも世の中にはたくさんいますが、 ビッグデータも統計解析も扱えるインフラは多くはない現状です。 そこで！ この記事では、 ビッグデータに対応したHiveで使える機械学習ライブラリ、 「Hivemall」の使い方を学ぼうじゃないか！ という志をたくさん表現するべく書いています。 そして統計やるんだったら、 初歩的だけどおもしろいロジスティック回帰がいいだろうなと、 これを取り上げました！ ちなみにですが、 あくまで「Hivemallの使い方」に重きを置くので、 統計云々みたいな深い話は最低限しかしません。 あとTreasureDataで試させていただきました。 いつもお
Jupyter から見た Treasure Data の使い方 - Qiita
Jupyter + Pandas-TD について何か書こうと思っていたところ、Cookpad の有賀さんによる素晴らしい紹介記事が！流れに便乗して、ここでは Pandas-TD の使い方をいくつか紹介したいと思います。 データに素早くアクセスするために Pandas と Treasure Data を組み合わせるためにスタートした Pandas-TD ですが、最近はどちらかというとインタラクティブなデータ探索を楽にするために開発を続けています。その典型がマジック関数で、Jupyter を開いてすぐクエリを実行したいときに重宝します。 時間を掛けてデータ分析するなら、素の Pandas 関数を使ってプログラミングする方がいいのですが、ちょっとしたログの調査のたびに Python でコードを書くのも面倒です。自動化できるところは自動化し、なるべく簡潔に欲しい結果を得られるようにするのがマジック
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
