世界各国から91名30チームが参加！ メルカリ初の大型ハッカソン「Mercari Euro Hack 2018」 - mercan（メルカン）
「データが好き」だけでは終わらせないメルカリ文化とは？ 経営とプロダクトを“数字”で支えるBI×MLマネージャー対談 データドリブンになれるかどうかは、「数字に理解のあるメンバーがいるか」「数字をもとに施策を考える習慣があるか」ーー。 メルカリではプロダクトの機能改善はもちろん、経営やプロダクト成長戦略の意思決定でも「データ」を活用する文化があります。そんなメルカリをデータで支えているのが、Business Intelligence（以下BI）チームとMachine Learning（以下ML）チームです。 BIチーム・・・意思決定に必要なデータを分析し、提案する MLチーム・・・メルカリにある大量のデータをAIに学習させ、サービスの利便性や付加価値を高める 機械学習の進歩もあり、さまざまな場面で「データ活用」に注目が集まっています。そんな中、メルカリではどのようにデータを活用しているので
統計検定を理解せずに使っている人のために II
408 化学と生物 Vol. 51, No. 6, 2013 15 μ σ μ σ μ σ 16 セミナー室 研究者のためのわかりやすい統計学-2 統計検定を理解せずに使っている人のために II 池田郁男 東北大学大学院農学研究科 15 16 409 化学と生物 Vol. 51, No. 6, 2013 μ σ σ σ μ σ * 17 μ σ μ σ * μ μ μ Z n 1 1 = − ( ) X µ σ σ 18 μ σ σ σ σ σ μ σ μ μ μ σ / n σ / n σ / n σ / n * * 17 18 σ 410 化学と生物 Vol. 51, No. 6, 2013 t u n 1 1 = − ( ) X µ σ σ σ σ σ μ t X 1 1 = − ( ) µ SE 19 μ μ μ μ μ 20 μ σ μ μ σ μ μ u n / 19 20 4
統計検定を理解せずに使っている人のために I - J-Stage
318 化学と生物 Vol. 51, No. 5, 2013 セミナー室 研究者のためのわかりやすい統計学-1 統計検定を理解せずに使っている人のために I 池田郁男 東北大学大学院農学研究科 319 化学と生物 Vol. 51, No. 5, 2013 1 1 320 化学と生物 Vol. 51, No. 5, 2013 2 μ σ σ 3 * 2 3 * 321 化学と生物 Vol. 51, No. 5, 2013 4 * 5 * 6 σ 4 5 6 σ * * 322 化学と生物 Vol. 51, No. 5, 2013 μ μ μ μ μ σ 7 σ σ σ σ σ σ σ σ σ σ 8 8 9 7 σ 323 化学と生物 Vol. 51, No. 5, 2013 9 10 11 * σ σ * * * * 10 11 * * * * 324 化学と生物 Vol. 51, No.
そろそろデータサイエンティストの定義とスキルセットについて本気で考えてみる - Qiita
データサイエンティストってなんだろう 掲題の通り、昨今色々と言われてるデータサイエンティストなる職業について考えてみる。 業界にいてもこの職種はとかく定義が曖昧で、統一的な見解がない。 まあ正直、『データサイエンティストなんて名乗りたい奴が名乗ればいーんじゃねーのぉ』という話ではあるのだが、せっかくなのでこの期に個人的な考えを書いておこうと思う。 なお、普段からデータサイエンティストについて考えている諸氏にとっては目新しいことは特に書いてないかもしれない どちらかと言えば、「データサイエンティストってどうやったらなれるんじゃい」、もしくは「流行りのデータサイエンティスト様を雇いたいけどどんな人採ればよいかのぅ」 って方々に見て欲しい記事なのでそのあたりはご了承願いたい 世間一般の見解を見てみる とりあえず世の中に既にある有名な幾つかの定義の俗説を見てみることにする。 "Data Scien
A/Bテストより10~100倍効率的なランキング評価手法 インターリービング（Interleaving）のまとめと実践 - Qiita
はじめに 2つのシステムの性能やデザインを比較したいときには、A/Bテストを行うことがあります。UIの変更など、比較すべきシステムが多くないような場合で、かつ、たくさんのページビューがあるようなサービスを運用している場合にはA/Bテストでも良いかも知れません。しかし、比較すべきシステムが複数ある場合や、あまりページビューがない場合、A/Bテストで有意な結果を得るためには長い時間がかかってしまうことが知られています。 そこで注目を集めているのが、近年提案されたインターリービング（Interleaving（日：交互配置））という手法です。検索や推薦システム等のランキングを行うシステムにのみ適用が可能ですが、実験的にA/Bテストよりも10~100倍効率的であるということが知られています。この記事では最近の論文によって報告されているインターリービングの性能について、また、各種インターリービング手法
（論文）ビッグデータを用いた経済・物価分析について : 日本銀行 Bank of Japan
研究事例のサーベイと景気ウォッチャー調査のテキスト分析の試み 2015年6月25日 日本銀行調査統計局 岡崎陽介※1 敦賀智裕※2 全文 [PDF 600KB] 要旨 近年、経済活動と情報技術（IT）の結び付きが強くなるもとで、大規模かつ多種多様なデータ（「ビッグデータ」）が生成され、経済・物価分析に徐々に活用されるようになりつつある。本稿では、同分野における2000年代後半以降の研究動向のうち、経済・物価動向の把握を目的としたものに注目する。そして、豊富な研究例が報告されている（1）インターネット検索データ、（2）POSデータ等のスキャンデータ、（3）テキストデータを用いたものを中心に、概要をとりまとめている。これらは、速報性・リアルタイム性の高さ、これまで定量化されてこなかった定性的な情報の活用、既存のマクロ経済指標を補完するような新たな経済指標の作成・公表等といった観点で、従来にはな
分析請負人カミヤのデータエンジニア事始め
我が社も社内データを活用して業績を高めたいのだが、さて何から手を付ければいいのか…。昨今のビッグデータ分析の盛り上がりで、さまざまな企業の方からこんな悩みを打ち明けられることがあります。それも、企業のトップ層から、事業部門や情報システム部門など現場の方まで、悩みの中身は様々です。 本連載では、私がすかいらーくでの取り組みや、他のユーザー企業のデータ分析担当者との議論を通じて得られた知見を基に、データ分析を成功に導くポイントを解説します。 ［8］攻めのITの典型、O2Oアプリの作り方を学ぶ データ分析でビジネスに貢献する「データエンジニア」を目指すこの連載も、この第8回をもってひとまず終了です。最終回となる今回は、ITで企業の業績を向上させる、いわゆる「攻めのIT」を取り上げます。攻めのITにおいて、データ分析の考えがいかに重要か、分析的な観点からどのようにシステムを設計するか、私が… 20
計算機での性能測定実験と集計の手法について、あるいはただの愚痴 - は
計算機を使った性能測定実験プログラムを実行して、集計するという処理をどこまでパターン化出来るかというのを、この数年、たまに考えている。が、なかなかこれだ、という答えにたどり着けるわけでもなく悶々としている。 このエントリは、その悶々とした気持ちをただ吐き出すためのものである。 この春でいまの研究室にきてから丸々6年になるので、この6数年ずっとデータベース研究をしていて、実験の作業として結局やっているのは、色んなプログラムの実行性能を測っては分析するということの繰り返しになる。 基本的には特定のプログラムを色々条件を変えながら何度も実行して、その結果をまとめることになる。大抵1回の実行時間は短くても数分、長い時には数時間で、それを何度もパラメタを変えて繰り返すので、結構長時間の実験になる。 当然パラメタを変えながらプログラムを繰り返し実行する部分は自動化することになる。 そのときに、自動化を
Services: Business Performance Improvement
PricewaterhouseCoopers’ (PwC) Performance Improvement offering helps you attain increased performance by improving the efficiency and effectiveness of your company’s key business operations. Using our deep understanding of finance, risk management/compliance, IT systems, operations and human resources, we help our clients identify and implement cost saving initiatives, improve management and contr
ドリコムを支えるデータ分析基盤 - かにぱんのなく頃に
はじめに これは ドリコムAdventCalendar の4日目です ３日目は、@arihh さんによる 3年くらいお菓子神社運営してきた です 自己紹介 @ka_nipan ドリコムに新卒で入社し、Android開発、BtoBtoC のwebサービス開発を経て、現在は弊社アプリのログ収集から集計、可視化、その他周辺ツールといった分析基盤の面倒を見ています 本日はそのデータ基盤の話を書きます データ分析基盤全体図 弊社では Hadoop をオンプレで運用していて、そこにログや分析用のデータを置いています メリット 運用コストが安い Treasure Data、Big Query、Amazon Redshift 等の外部サービスを使うよりは安く済みます 自由度が高い 各サービスには容量をはじめ色々と制限があったり、こちらの要求仕様にマッチしない部分が少なからずありますが、自前の場合その辺は融
YAPC::Asia 2014に行ってきた＆しゃべってきた - たごもりすメモ
YAPC::Asia Tokyo 2014 みなさんご存知のYAPC::Asiaに出したtalk提案が採択されたので、スピーカーとして参加してきた。スケジュールを見たら2日目の一番最後の枠(LTの直前)で、なんと初めてのホールでのtalk。 1日目午後は会社でお仕事上の用事があったので参加できず、2日目朝は前日夜に死ぬほど飲んでいたので動けず、2日目午後は自分のtalk前で気もそぞろ……という感じで聞く側としてはアレだったけど、いろんな人が会場にいていろいろ話したし、面白かった。 しゃべってきた "Handling not so big data." というタイトルで、今現在における分散データ処理プラットフォームの世界はどうなっておるのか、ということをざっと概観しつつ、そういう仕事に踏み込むときには何が重要なのかについて少し話した。 Handling not so big data fro
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
レストランのパフォーマンスをRで解析する - ワザノバ | wazanova
http://perfdynamics.blogspot.com/2014/07/restaurant-performance-sunk-by-selfies.html 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約5時間前 Performance Dynamicsのブログで、PDQ（Pretty Damn Quick）モデルを利用して、Rでレストランのパフォーマンスを試算した話を紹介しています。 データの元はこちらの記事。NYの老舗レストランが、10年前と比較して、１日当たり同じ数の顧客を対応しているのに、サービスが遅いとのクレームが増えているため、店内の監視カメラで録画したスタッフの動きを比較して分析。その結果、店内の無料Wifiのつなぎ方の問い合わせやつながりづらいというクレームへの対応、顧客がスマホで
スマホマーケットの概要と、�マーケティングの失敗例と改善 （アナリティクス アソシエーション 特別セミナー）
スマホマーケットの概要と、�マーケティングの失敗例と改善 （アナリティクス アソシエーション 特別セミナー）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - bdash-app/bdash: Simple SQL Client for lightweight data analysis.
Near Real-Time Log Streaming and Analysis with Google Cloud Platform & Logentries
営業さんまで、社員全員がSQLを使う 「越境型組織」 ができるまでの3+1のポイント | リブセンス
Improve Operational Performance
The Big Data wrangling CIO you've probably never heard of: But his kit probably knows YOU