データ基盤は「データで」改善する − 中間テーブル作成の事例｜Mercari Analytics Blog
メルカリAnalytics Infraチームの@__hiza__です。 この記事では、メルカリにおけるデータ基盤の整備について紹介します。 今回は、膨大な生のテーブルについてどのテーブルから中間テーブル化すると効果的か、データにもとづいて優先順位を付けた事例を説明します。 また、あわせて大規模なデータ基盤を改善する際に「データ基盤の利用状況のログ」が役立つことをお話したいと思います。 中間テーブルを作る意義データ分析用の中間テーブルを作成する意義を簡単におさらいします。 例えば、WebサービスのRDBに入っているデータで分析を行う場合に以下のような加工をしたテーブルを用意すると分析が便利になります。 例) 生テーブルを分析に使いやすくする加工の例 よくjoinして利用する複数のテーブルをあらかじめjoinしておく コード化された値を人が見て分かる値に変換しておく(都道府県コード01→北海道
Ptengineウェブ運営All-in-Oneプラットフォーム | ウェブの改善や改善業務はこれひとつで完結
サイト強化はこれひとつ はやく、大きな成果へ ヒートマップ、サイト解析、ページ編集、A/Bテスト、WEB接客、パーソナライゼーション 1つのタグ設置だけで、全てノーコードで使えます。
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
オバマ勝因はデータマイニング：Obama's Data-Driven Campaign @Time
This is "cave" where Obama's army of data crunchers analyze the megafile collected from 2008 campaign (pollsters, fundraisers, field workers, consumer databases, Democratic voter files, and social-media and mobile contacts) and ran the election “66,000 times every night” in order to figure out Obama’s chances of winning each swing states. Wow. Just. Wow. オバマ大統領再選の勝因が様々に論じられているが、どれも説得性に欠ける。だいたい「11の
高木浩光＠自宅の日記 - パスモは乗車履歴を第三者提供？ 他社のビッグデータに取り込まれる可能性
■ パスモは乗車履歴を第三者提供？ 他社のビッグデータに取り込まれる可能性 前回の日記の続き。 あの後、パスモ社の担当者と何を話したかというと、同社の個人情報保護方針に反しているのではないかという点と、個人情報保護法に違反しているのではないかという点であった。 電話する前の時点では、「乗車履歴自体は個人情報ではない*1」という見解も出るかな*2と予想していたが、担当者は、前回の最後の部分で示したように、あっさりと個人情報だと認めたため、そこは論点にならなかった。 まず追求したのは、利用目的の明示。 個人情報保護法は、第18条で、個人情報を取得したときは速やかにその利用目的を本人に通知又は公表しなけれなばらないと定めており、その例外として、「あらかじめ利用目的を公表している場合を除き」としている。記名PASMOを作って利用を始めると、乗車履歴をパスモ社ほかに取得されることになるが、その乗車履
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Announcing GA Support for Accelerated Mobile Pages (AMP) Analytics
Clicktale Is Now Contentsquare - Explore Our Combined Platform
whotwi グラフィカルTwitter分析
Hadoopを用いた大規模ログ解析