DataScience系プロジェクトの育て方 | CyberAgent Developers Blog
AI事業本部 Dynalystの事業責任者の木村です。 Dynalystは広告配信プロダクトとしてもうすぐ6周年を迎えるサービスなのですが、ある程度理想とする組織の姿に近づきつつあるので、プロダクトを支えるデータサイエンスチームについてどういう風にプロジェクトが育っていったか少し紹介しようと思います。 前提とする状況は以下。 広告配信に関わるログは基本的に全てS3に蓄積されている 分析基盤としてRedshiftが稼働しており、だいたいのログはSQLでアクセス可能 配信のアプリケーションはScalaでできている (分析で利用する言語はPython, Rが主) 当然最初からチームがあった訳ではなく、徐々にプロジェクトらしくなっていったというのが正直なところです。 人数論で語るべきものではありませんが、実際やれることの幅は変わってるなということで、規模に応じてどう変わっているかをみてみます。 【
データエンジニアとデータアナリストを兼任して良かったこと
第2回 データアーキテクト（データ整備人）を”前向きに”考える会でトークをさせて頂きました https://analytics-and-intelligence.connpass.com/event/161997/ -- JapanTaxi, Inc. All Rights Reserved 102-0094 東京都千代田区紀尾井町3-12 3-12 TEL 03-6265-6265 FAX 03-3239-8115 https://japantaxi.co.jp/ 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights ReservedRead less
データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。
MLチームが語る「ママリ」の可能性 | Connehito Tech Magazine
ママ向けQ&Aアプリ「ママリ」は、サービス内に機械学習を用いて熱量の高いユーザー同士のコミュニティを健全な状態に保ったり、ユーザー体験をよりよくしたりするなど、技術の力でママの一歩を支えています。インフラ・機械学習チームの永井、野澤にインタビューをし、「ママリ」が秘めている可能性について語っていただきました！ まず、はじめにインフラ・機械学習チーム永井、野澤のご紹介です。永井：ウェブオペレーション領域を専門にし、インフラエンジニアを担当しています。現在は、Docker・AWSをベースとした「ママリ」のサービス基盤作りに取り組む傍ら、ここ一年は機械学習を学んでおり、MLOps的取り組みや一部モデル作成も担当しています。 野澤：趣味で勉強し始めた機械学習にハマり、SIerから機械学習エンジニアとして、コネヒトに入社をしました。「ママリ」のコミュニティ健全化やレコメンドシステムへの機械学習実装に
データサイエンティストとしてアウトプットを改善するために必要な4つの力 - エニグモ開発者ブログ
はじめに エニグモでデータサイエンティストを名乗っている庄子です。こちらは Enigmo Advent Calendar 2019 の25日目の記事です。 今年の振り返りも兼ねてのポエムとなります。 さて、データサイエンティストが活躍するためのスキル要件として、いくらでも切りようがあると思いますが、特に自分自身に感じている課題について、4つの力という観点で書きたいと思います。 その1 提案力 PoCとして小規模のデモを行う そのデータサイエンスのアウトプットが使えそうか、事業に詳しい人に想像してもらう 実際にデータサイエンスを使って問題解決できそうな場合も、実際にやってみないと分からないですし、得られたアウトプットが事業に有効かどうかを、事業に詳しい人に意見をいただいた方が良いでしょう。筋が悪そうな分析は早めに判断してもらうためにも、なるべく小規模でPoCを行います。 本年度の振り返りとし
(翻訳) データエンジニアリングの未来 - satoshihirose.log
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
How LinkedIn, Uber, Lyft, Airbnb and Netflix are Solving Data Management and Discovery for Machine Learning Solutions
How LinkedIn, Uber, Lyft, Airbnb and Netflix are Solving Data Management and Discovery for Machine Learning Solutions When comes to machine learning, data is certainly the new oil. The processes for managing the lifecycle of datasets are some of the most challenging elements of large scale machine learning solutions. Data ingestion, indexing, search, annotation, discovery are some of the aspects r
データドリブン経営の未来 大阪ガスの最強データ分析組織を率いた立役者と元アップル本社Siri開発者が語り合う | データ経営｜DIAMOND ハーバード・ビジネス・レビュー
『DIAMONDハーバード・ビジネス・レビュー』2019年6月号特集に関連したイベント「データドリブン経営の未来」を開催。アップルのエンジニアとして音声ＡＩ「Siri」の開発に従事した、パロアルトインサイトCTOの長谷川貴久氏、大阪ガスのビジネスアナリシスセンター所長を務め、現在は滋賀大学データサイエンス学部教授の河本薫氏が、データ経営の推進と人材育成のコツを伝授した。2019年7月12日、東京・ビービット本社にて開催。（構成／富岡修、写真／編集部） データ活用に最も積極的な企業、ネットフリックス 「GAFAもすごいですが、現在、データ活用に最も積極的な企業はネットフリックスかもしれない」。パロアルトインサイトCTOの長谷川貴久氏はそう言いながら、自身が加入しているネットフリックスのトップ画面をスクリーンに映し出した。 長谷川貴久（はせがわ・たかひさ） パロアルトインサイトCTO。シリコン
「成果を生み出すデータ分析組織」はここが違う リクルートのマネジメント術
「成果を生み出すデータ分析組織」はここが違う リクルートのマネジメント術：これからのAIの話をしよう（マネジメント編）（1/3 ページ） 「これからはデータ活用の時代だ。我が社でもデータ分析の専門組織を立ち上げるぞ。早急に戦力化したいから、あとはよろしく頼む」 さすがに後半の丸投げは多くないと信じたいですが、上層部から同じようなことをいわれた経験がある人が増えているのではないでしょうか。 AIやデータを活用するために新しくデータ分析組織を立ち上げてみても、ノウハウがない企業がすぐに成果を出すのは難しいでしょう。多くの企業がデータサイエンティストの獲得に躍起になっていますが、果たして優秀なデータサイエンティストがいれば、何もかもがうまくいくのでしょうか。 データサイエンティストが1人いれば売り上げが増え、新商品がヒットし、さまざまな経営課題が解決すると考えている経営者は、さすがにいないでしょ
その分析、アクションにつながりますか？――スマートニュースの意思決定を支えるData Science Team - スマQ（スマキュー）｜スマートニュースの「はたらく」をみつける
こんにちは。スマートニュースのData Science Team（以下、DS Team）に所属する小松です。直近では、広告プロダクト・広告営業関連の分析領域を主に担当しています。この記事ではチーム紹介として、DS Teamの会社内での役割や価値を出すための考え方についてお伝えします。 出身や国籍もさまざまなData Science Team スマートニュースのData Science Team スマートニュースにおけるDS Teamの役割は、人間の意思決定に資する定量的分析を行うことです（いわゆるType A (Analysis) Data Scientistの集団です）。なお機械学習関連のプロダクト開発は、現時点ではほとんど別チームのエンジニアが担っています。 メンバーは現在5名。バックグラウンドだけでなく出身や国籍もばらばらで、日本・アメリカ・中国・台湾出身のメンバーがいます。業務上の
Gunosyにはエンジニアが成長できるデータと環境が揃っている - 松本CTOが作った少数精鋭の組織とは
公開日: 2018年4月18日Gunosyにはエンジニアが成長できるデータと環境が揃っている - 松本CTOが作った少数精鋭の組織とは ”非エンジニアが聞く「エンジニア採用」のリアル”の第10回目は、株式会社Gunosy 執行役員 CTO 兼 新規事業開発室室長 松本 勇気さんへのインタビューです。「無駄が嫌い」なエンジニアは創業時から今の成長までどんな思いで組織を作ったのか。ぜひお読みください。 松本 勇気さんプロフィール： 株式会社Gunosy 執行役員 CTO 兼 新規事業開発室室長。Gunosy創業直後に入社。これまでニュース配信サービス「グノシー」「ニュースパス」などの立ち上げから規模拡大、また広告配信における機械学習アルゴリズムやアーキテクチャ設計を担当し、幅広い領域の開発を手がける。新規事業開発室担当として、ブロックチェーンやVR/ARといった各種技術の調査・開発を主導。現在
「ZOZO」を支える、最強のデータ活用組織／ZOZOテクノロジーズ「分析部」の正体とは？
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
【データ分析の民主化】データドリブンな組織になるには何をしたらいいのか考えてみた - St_Hakky’s blog
こんにちは。 今日は、データドリブンな組織になるために、何をしたらいいかを考えてみたので、それについて書きます。 データドリブンな組織の必要性 先日、以下の記事で「データドリブンな組織ってなんで必要なのか」と言う観点で記事を書きました。 st-hakky.hatenablog.com 上の記事を要約すると、以下のようになります。 意思決定を「早く・確実に・納得感を持って」するために、データ分析をする(アナリスト視点) データを活用して新機能の開発やコスト削減を行う(MLエンジニア視点) データ分析をベースにした組織、つまりデータドリブンな組織になるためには「データ分析の民主化」が必要(組織全体の視点) データドリブンな組織になるためには、「データ分析の民主化」って言う最近のホットワード(?)なのか知りませんが、そう言うのが必要です。 ぼんやりした言葉なので、具体的に何をすればいいのかと言う
LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ - TECH PLAY Magazine
TOP マガジン インタビュー LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ ユーザーの増加やサービスの多角化に伴い、各サービスの膨大なデータを収集・蓄積し、分析を行うことは、さらにサービスを発展させるために必要不可欠です。 そこで今回は、サイバーエージェント秋葉原ラボ・研究室長の福田一郎氏と、LINE Data Labsのデータエンジニアである吉田啓二氏に、「データ基盤の設計・マネジメント、データエンジニアリング」をテーマに、サービスを発展させる上で社内部署とどのように協力すればいいのかについて語っていただきました。 対談者プロフィール 株式会社サイバーエージェント 秋葉原ラボ研究室長 福田 一郎氏 2008年、サイバーエージェントに入社。2011年、秋葉原ラボを設立し、メディア事業全体の大規模データ処理基
#本質的に数字と向き合う夜 が良すぎた
【4/15(月)】本質的に数字と向き合うってこういうこと 〜LayerX 福島良典氏と語る夜〜 (2019/04/15 19:30〜) イベント概要 データ爆発で始まった平成もいよいよ最後の年になり、ビッグデータは民衆のものになりました。 「KPIを見てITサービス運営を行う」なんてものは、もはや息を吸うように常識となりました。… 【4/15(月)】本質的に数字と向き合うってこういうこと 〜LayerX 福島良典氏と語る夜〜 というイベントがあったので、いけなくなった社長の代わりに名刺を2枚奪って社長のふりをして行ってきました(クソリプ対策をしておくと、ちゃんと自分の名刺も合わせてわたしました)。そこで聞いた話がとにかくよかったので内容のメモを公開します。箇条書きなのはメモをそのまま公開しているからです。発言としてあった部分と自分の理解や注釈が混ざってしまっています。ゆるしてください。 ミ
Rettyの意思決定を最大化！データ分析チームの取り組みをご紹介 - Retty Tech Blog
この記事は Retty Advent Calendar 18日目の記事です。 昨日は@isaoekaさんの会社の行動規範浸透を図るため、メニューバーからいつでも確認できるアプリを作ったの話でした。 はじめまして、Rettyのデータ分析チームでマネージャーをやっている平野です。 Rettyのデータ分析チームは今年4月に立ち上げ現在9ヶ月目です。 この記事では立ち上げから9ヶ月でやってきた組織的取り組みについて中心に書きました。 今アドベントカレンダーではデータ分析の技術的取り組みついてを、一緒にデータ分析チームを立ち上げた@takegueが書いてますので、そちらも合わせて読んでいただけますと幸いです。 ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog Webサービスを支えるユーザログ基盤開発＠Retty - Retty Tech Blog 目次
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lessons learned managing the GitLab Data team
抽出や集計の依頼を受ける時に気を付けていること / https://speakerdeck.com/shinu/maemuki-data-seibinin02
Masa @エンジニア登山部/Goのポインタを完全に理解する本/VCTO on Twitter: "データに関わる職種の人たちは果たして何が評価基準なのか、喜びにつながるのか、非常に難しいと感じている。"
(あんちべ! 俺がS式だ） on Twitter: "データ分析組織、横断組織（つまり無くても会社が即死しない組織）になりがちで[要検証]、費用負担や成果評価が面倒になる。 なぜそんな状況になるかというと、当事者は周りの不理解を挙げがちだが「何をミッション・ビジョン・バリューにするか… https://t.co/j6ADPRz7DM"