2020年2月6日に開催された「令和元年度 政策評価に関する統一研修」(埼玉会場)の講義資料です。 (2020-02-09追記) 受講者以外の方々にもたくさんご覧頂いているようでありがとうございます。 注意点として、口頭での説明を前提とした資料であるため、スライド中の文章は最小限にとどめてある点ご了承下さい。
(Image by Pixabay) ちょっと前にこんなことを書きました。 洋の東西を問わずどこの事業会社でもあるあるなのが、プロダクト部門には山ほど優秀なデータサイエンティストや機械学習エンジニアがいるのに、広告・マーケ部門にはDSやMLエンジニアはおろか普通のエンジニアもアナリストもいないので外部コンサルやベンダーに頼りきり、という現象。灯台下暗し— TJO (@TJO_datasci) 2019年12月26日 これ、実は広告・マーケティング業界に限らずあらゆる分野業界のデータ分析事情について言えることなのですが、ここで言う「プロダクト部門」を「(その会社の)本業部門」と言い換えるとさらに普遍性の高い話であるように、僕の個人的な体験と見聞からは思われます。 ということで既に年末ポエムを書いてしまった後なのですが、今後データサイエンティスト(広義:よって機械学習エンジニアやデータアーキテ
(Image by Pixabay) 気が付けば、日本における第一次データサイエンティストブームから6年、人工知能ブーム開始から3年が経ったようです。意外と言っては何ですが、これまでのところ人工知能ブームも、そしてそれにブーストされた形で起こった第二次データサイエンティストブームも、まだまだ続くどころかどんどん加速していきそうな状況です。 なのですが、これだけ統計学や機械学習のような高度なデータ分析技術がビジネスの現場に浸透するようになった現在でも、なぜかあまり多く見かけないものがあります。それは「機械学習(もしくは自動化された統計分析)によるビジネス上の成果を数値として示したもの」。意外かもしれませんが、個人的な観測範囲では例えば「Deep Learningを導入したら〇〇がXX%向上した」みたいなリリースや記事を見かけることは、正直なところ思った以上に少ないように思われます。それでも第
こんにちは、THE GUILDの @goando です。 私はTHE GUILDの中でもデータを扱う仕事を中心に活動しており、「UXの改善をデータでサポートする」をミッションに取り組んでいます。 ざっくり言うと、THE GUILDのクライアント企業が運営するサービスのログを分析してユーザーの行動傾向からUXの改善点を見つけ出したり、マーケットの市場リサーチを通じてサービスの戦略の策定を支援したり、と言った内容です。 こうした活動を通じて、データ分析の結果をグラフ等のレポートに落とし込むという事を数多く行ってきました。 試行錯誤を繰り返しつつ、データをどのようなデザインで視覚化するとメッセージが伝わりやすいのか、逆にどういう点に気をつけないと誤解を与えやすいのか、といったノウハウを少しずつ蓄積してきました。 データ分析を台無しにするダメグラフかく言う私もかつて、そのグラフから何が言いたいのか
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
原文: https://blog.cloudera.com/blog/2019/05/small-files-big-foils-addressing-the-associated-metadata-and-application-challenges/ 著者: Shashank Naik, Bhagya Gummalla 訳注: 本稿は2019/5/9に公開されたブログ記事の翻訳です。 「スモール・ファイル」はApache Hadoopの世界では一般的な課題であり、注意して扱わないと、いくつかの複雑な問題を引き起こす可能性があります。Apache Hadoop分散ファイルシステム(HDFS)は、テラバイトからペタバイトの範囲にわたる、大きなデータセットを格納して処理するために開発されました。しかしHDFSはスモール・ファイルを効率的に格納しないため、スモール・ファイルによってNameNo
「データ整備人(仮)」という、「データベースからSQLを書いて抽出する」という仕事についての考察というか「なにこれ?」という話 → データアーキテクトと呼ぶことにしよう 追記:データアーキテクトと命名して改めて整理した この役割については「データ整備人(仮)」ではなく「データアーキテクト」としてエンジニアとアナリストの間で兵站を担う「データアーキテクト」は1つの役割として確立しておいた方が良いと思うので整理してみたにまとめた。 なぜか誰もやりたがらない仕事 営業やマーケターなど、主にビジネスサイドから依頼を受け、必要なデータを集計・抽出して渡す役割がある。 この仕事をうまく表現する言葉もないためか、データに関わる人はもちろん求人情報含めて非常に混乱しているように見受けられる。 そこで、この役割について思うところを書いてみる。正直なところまだ自分の中でもまとまりきっていないので雑多な内容にな
2019年5月23日、DMM.comとZOZOテクノロジーズによる合同勉強会「DMM x ZOZOを支える基盤技術」が開催されました。数多くのサービスを展開している2つの巨大プラットフォームは、どのようなインフラ基盤・運用によって支えられているのか? 2社で活躍するエンジニアたちが、その舞台裏を明かします。プレゼンテーション「DMMを支えるプラットフォーム基盤の裏側」に登壇したのは、DMM.comプラットフォーム事業本部の石垣雅人氏。講演資料はこちら DMMを支えるプラットフォーム基盤の裏側 石垣雅人 氏(以下、石垣):DMM.comには、様々な領域で40以上のサービスがあります。そのため、それぞれのサービス開発に注目がいきがちですが、その裏側を支えているプラットフォーム基盤について説明させていただきます。 石垣と申します。2015年にDMMに入社しまして、今回紹介するプラットフォーム
Repro Tech Meetup #7 にて、「データサイエンスレガシーコードに立ち向かう」というタイトルで講演しました。 データサイエンティスト全てというわけではありませんが、データサイエンスのコードは試行錯誤の連続であり、様々な手法を連続して試すことを考えると、最初からきちんとテストを書いた保守性の高いコードを書く、というのはそう簡単ではありません。 しかし、そうした試行錯誤を経て出来上がったデータサイエンスのコードを、「動いているから」という理由でそのまま実戦投入していくケースを目にしたことある人はいるのではないでしょうか。 このような状況に直面したとき、私が思い出したのは、10年前の、あるプロジェクトのことでした。 当時の私はある社内システムの開発に携わったのですが、既存コードには一切テストがなく、かなりの分量の改修が必要で、そして期日が迫っている、という状況でした。 このとき私
この記事はRecruit Engineers Advent Calendar 2018 - 8日目の記事です。 注意点 タイトルは煽りです。「新規事業におけるデータエンジニアリングの勘所」の方が正しいかもです。 クオリティというか記事の信頼度は、投稿時間がギリギリになってしまったことから察してもらえるとありがたいです。 本エントリーの内容は個人的な見解であり、所属する組織を代表するものではありません。データの取り扱いは非常にセンシティブなトピックでもあるため気軽に発信すべきではないということは重々承知しております。もし誤りや考慮不足だと感じる点があれば、それは全て私個人の力不足によるものですので、どうぞ私個人当てにご指摘のコメントをいただけると幸いです。 もくじ 注意点 もくじ 背景 前提 体制 システム 開発スコープ 機械学習WebAPIは分離 データ基盤設計 全体の設計ポリシー データ
こんにちは、株式会社サイバーエージェントメディア統括本部/アドテクノロジー開発部の林欣朋と秋葉原ラボのTristan Irvineです。先日サイバーエージェントグループの技術カンファレンスCA BASE CAMP 2019に登壇しお話させていただいた「進化する広告配信ロジックとDSP戦略」について解説させていただきます。 発表スライドはこちらになります。 プロダクトの紹介と配信ロジックについて メディア統括本部/アドテクノロジー開発部では「Ameba-Infeed」と「Ameba-DSP」というプロダクトの開発・運用をしています。 Ameba-Infeed Amebaのオーディエンスデータを活用し、良質な自社メディア枠への広告配信が可能。 Ameba-DSP Open-RTBでSSPと接続することで外部の様々なメディアに配信可能。 Ameba-Infeedは自社メディアへの広告配信のため、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く