最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle
この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
この記事について 共感している そもそもDXとは何か デジタル中心のビジネスにどうシフトするか デジタル中心のオペレーションにどうシフトするか 顧客や従業員がラクになる体験（UX） 最近やっている案件 みんなすごい この記事について 下書きの状態で公開することにした。 主観と経験で書いているので、細かい話は要事実確認。 反響があったら後でブラッシュアップするかも。 特定の名前が分かる形での非公開情報は載せていない。 共感している DXという言葉は使わなかったけど、過去に似た内容で登壇したので、一連のツイートに共感しますhttps://t.co/bh8dWDxjpWhttps://t.co/gJjrvLf6tu https://t.co/cTW35ELvIE pic.twitter.com/ImjPYWPP5R— ゆずたそ (@yuzutas0) May 26, 2020 そもそもDXとは何
使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出すデータ基盤を開発するためには良いツールを選定するだけでなく、「どの技術をいつのタイミングで導入するか」「関係者をどのように巻き込むか」といった観点も重要です。この発表では、製造業のDXを進めるCADDiが直面したデータの課題と、利用状況に合わせて段階的にデータ基盤を拡充していった過程についてご紹介します。
ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルートが“価値あるデータ整備”のための新たな職種に着目した理由 - はてなニュース
世間でデータの利活用やDX（デジタルトランスフォーメーション）の手法が盛んに議論される一方、データの利活用環境やそれを整備するデータ組織・人材について「理想と現実のギャップ」に苦しむ企業は少なくないでしょう。 そうした企業にとって、事業で得られたデータをスピーディーな意思決定につなげたり、そのプロセスを牽引する人材を育成したりすることは、喫緊の課題であるように思います。 データを活用してカスタマー・クライアント双方の「不の解消」を目指すリクルートも例外ではなく、これまでさまざまな課題に直面してきました。そんな中、同社のデータ推進室では2022年、「データに基づく意思決定の実現」を目標に、D3M（Data Driven Decision Making）部を設立。高精度な意思決定を実現すべく、高品質なデータを提供するアナリティクスエンジニアという職種を導入しました。 一般的に、アナリティクスエ
データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。
Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう！ https://kazaneya.com/kdec ---------------------------------------------------------------------------------------- 「Tech × Marketing Conference 2021 #データマネジメント」基調講演の登壇資料です。 https://techxmarketing.connpass.com/event/229173/ データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高
データ基盤のためのリーダブルSQL
これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定しています 記事内でデータエンジニアもアナリティクスエンジニアも総称してデータエンジニアと呼んでいます データ基盤を「使う側」のクエリと「作る側」のクエリの違い 最近ではファーストキャリアからデータエンジニアの方も出てきているかもしれませんが、データサイエンティスト、アナリスト、ソフトウェアエンジニアを経験してデータエンジニアを行っている人が一般的と考えています。 特にデータサイエンティスト、アナリストからデータエンジニアへの転向は私の周りでは多いように感じており、その方達は(過去の
システムの「新元号」対応、なぜ大変？ 和暦の表示にフォントの「合字」を使用しているシステムが相当数あるなど、さまざまな問題がある。 出典：BCN 5/20(日)
この記事は Retty Advent Calendar 18日目の記事です。 昨日は@isaoekaさんの会社の行動規範浸透を図るため、メニューバーからいつでも確認できるアプリを作ったの話でした。 はじめまして、Rettyのデータ分析チームでマネージャーをやっている平野です。 Rettyのデータ分析チームは今年4月に立ち上げ現在9ヶ月目です。 この記事では立ち上げから9ヶ月でやってきた組織的取り組みについて中心に書きました。 今アドベントカレンダーではデータ分析の技術的取り組みついてを、一緒にデータ分析チームを立ち上げた@takegueが書いてますので、そちらも合わせて読んでいただけますと幸いです。 ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog Webサービスを支えるユーザログ基盤開発＠Retty - Retty Tech Blog 目次
『データマネジメントが30分でわかる本』を出版しました - 下町柚子黄昏記 by @yuzutas0
『データマネジメントが30分でわかる本』をKindleで販売開始しました！データ活用に関わる方々はぜひお買い求めいただければと思います！https://t.co/aRRYIsJeqR— ゆずたそ (@yuzutas0) March 13, 2020 （自称）企画屋・コンセプトデザイナーの @yuzutas0 です。 共著者・寄稿者を初めとして、スポンサーやレビュアーの皆様、各所で書籍を紹介してくださった皆様、 その他何らかの形でご協力いただいた皆様、本当にありがとうございました。 発売から間が空きましたが、スポンサー報告が完了したので、このブログに制作秘話をまとめます。 自費出版に関心がある人のヒントになれば幸いです。 もくじ もくじ 1. 書籍について 1-1. 書籍概要 1-2. 購入方法 1-3. 本書への反響 1-4. 関係者の皆様 2. 裏話 2-1. きっかけ 2-2. 企画
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
第16回日本統計学会春季集会での発表資料です。 https://confit.atlas.jp/guide/event/tjss2022spring/top https://ies.keio.ac.jp/events/17173/ 講義や共同研究のご相談はブログのお問い合わせ欄にご連絡ください。 https://yuzutas0.hatenablog.com/
経済産業省は、民間事業者等が、データの利用等に関する契約やAI技術を利用するソフトウェアの開発・利用に関する契約を締結する際の参考として、契約上の主な課題や論点、契約条項例、条項作成時の考慮要素等を整理した「AI・データの利用に関する契約ガイドライン」を作成し、あわせて、本ガイドライン（案）に対する意見募集の結果を取りまとめました。 1．背景・経緯 IoTやAI等の技術革新によってデータが爆発的に増加するに伴い、事業者間の垣根を超えたデータ連携により、新たな付加価値の創出や社会課題の解決が期待されています。他方で、データやAI技術を巡っては、契約実務の蓄積が乏しいこと、あるいは当事者間の認識・理解のギャップがあること等により、契約の締結が進まないという課題があります。 こうした課題に対し、経済産業省では、2017年5月に「データの利用権限に関する契約ガイドラインVer1.0」を策定しました
Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。前半は使えないデータとは何かについて。 自己紹介 ゆずたそ氏（以下、ゆずたそ）：では、発表を始めたいと思います。「データマネジメントなきMLは、破綻する。〜こんなデータじゃ機械学習できねぇよ問題の処方箋〜」という話をしたいと思います。 はじめに、まず自己紹介です。「yuzutas0」というアカウントをやっています。機械学習の専門家ではないのですが、機械学習を使った施策に
Overview of The Modern Data Stack / モダンデータスタック概論
顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~
累計参加者8,500名！ #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224
primeNumber主催イベント「01(zeroONE)」兼「DataEngineeringStudy番外編」の登壇資料です。掲載内容は収録時点の情報にもとづきます。 https://01.primenumber.co.jp/ https://forkwell.connpass.com/event/237704/
最終更新日： 2020年8月6日 データを活用する多くの企業の価値が向上しています。世界的な企業は、ユーザのデータを巻き込み広告などのビジネスを展開し、現在、多くのビジネスはデータを資本に展開されているといっても過言ではないでしょう。 一方、データの活用の環境が整っている会社ばかりではありません。電子化されていないデータ、管理者がバラバラなデータ、企業によってデータに関する多くの課題があることでしょう。データの課題は、そのままAIの活用を大きく遅らせる足かせにもなってしまいます。 この記事では、重要性が高まる「データマネジメント」について解説します。 バズワード化するAIとデータマネジメントの必要性の高まり 2010年代に入り、今までのシステム以上の精度で画像認識することが可能になり、ディープラーニングなど機械学習への注目が高まりました。 AIの導入に少しでも興味を持った方は、AIの中でも
「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス - Lean Baseball
なんやかんやで, ITコンサルタント（復帰）生活から半年経ったマンです. マネジメントからアーキテクチャ, はたまた技術的なLTまでやらせてもらえて楽しく過ごしております*1. 昨年の話になりますが, コミュニティーやその他の活動で色々とお世話になってる @yuzutas0さん達が執筆しました, 「実践的データ基盤への処方箋」を頂戴いたしました. 実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ 作者:ゆずたそ,渡部 徹太郎,伊藤 徹郎技術評論社Amazon ひと言で言うと, データ活用のためにこういう本が欲しかったんや！！！ というくらい良著で, データ活用に必要な「人・組織・アーキテクチャ」をいい感じに網羅的に扱っていて良きでした（と, 読み終えた時の感想ツイートがそう言ってました）. データを扱う人すべてにおすすめしたい一冊です 読み終えた後も,
風音屋TechTalk #1 メタデータ入門 の発表資料です。 https://kazaneya.connpass.com/event/265752/ 会社や製品に関する問い合わせは、以下にご連絡ください。 株式会社Quollio Technologies お問い合わせフォーム https://quollio.com/contact
データパイプラインに関する知見をカジュアルに語る！ Data Pipeline Casual Talkに参加してきた #DPCT | DevelopersIO
昨日(2019年02月13日(水))、下記のイベント(勉強会)に参加してきました。データ分析基盤、また機械学習基盤にとって、要望を満たすデータを整形、準備する『パイプライン』の存在は必要不可欠です。そんな題材をテーマにした勉強会の内容をレポートしたいと思います。 Data Pipeline Casual Talk - connpass 目次 参加レポート 開会の挨拶＆会場説明 Talk1: 機械学習におけるデータ管理 Talk2: 丘サーファーへ水を届けよ！〜みんながデータを使えるようにするまでの日々の挑戦(苦悩)〜 Talk3: データ基盤の3分類と進化的データモデリング Talk4: データ基盤を「育てる」という考え方とそれを支える技術 Talk5: リブセンスのデータ分析基盤を支えるAirflow まとめ 参加レポート 開会の挨拶＆会場説明 Data Pipeline Talkの趣旨
LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ - TECH PLAY Magazine
TOP マガジン インタビュー LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ ユーザーの増加やサービスの多角化に伴い、各サービスの膨大なデータを収集・蓄積し、分析を行うことは、さらにサービスを発展させるために必要不可欠です。 そこで今回は、サイバーエージェント秋葉原ラボ・研究室長の福田一郎氏と、LINE Data Labsのデータエンジニアである吉田啓二氏に、「データ基盤の設計・マネジメント、データエンジニアリング」をテーマに、サービスを発展させる上で社内部署とどのように協力すればいいのかについて語っていただきました。 対談者プロフィール 株式会社サイバーエージェント 秋葉原ラボ研究室長 福田 一郎氏 2008年、サイバーエージェントに入社。2011年、秋葉原ラボを設立し、メディア事業全体の大規模データ処理基
マーケター自身がデータを管理するために、広告運用にdbtを導入した経緯と効果 - MonotaRO Tech Blog
こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELTを安定的に回す仕組みが必要になりますが、処理の自動化やデータの品質まで求められるようになると、「データが抽出できる」だけでは限界が見えてきていました。そこで今回、マーケター自身がデータを管理する立場に
データドリブン経営の未来 大阪ガスの最強データ分析組織を率いた立役者と元アップル本社Siri開発者が語り合う | データ経営｜DIAMOND ハーバード・ビジネス・レビュー
『DIAMONDハーバード・ビジネス・レビュー』2019年6月号特集に関連したイベント「データドリブン経営の未来」を開催。アップルのエンジニアとして音声ＡＩ「Siri」の開発に従事した、パロアルトインサイトCTOの長谷川貴久氏、大阪ガスのビジネスアナリシスセンター所長を務め、現在は滋賀大学データサイエンス学部教授の河本薫氏が、データ経営の推進と人材育成のコツを伝授した。2019年7月12日、東京・ビービット本社にて開催。（構成／富岡修、写真／編集部） データ活用に最も積極的な企業、ネットフリックス 「GAFAもすごいですが、現在、データ活用に最も積極的な企業はネットフリックスかもしれない」。パロアルトインサイトCTOの長谷川貴久氏はそう言いながら、自身が加入しているネットフリックスのトップ画面をスクリーンに映し出した。 長谷川貴久（はせがわ・たかひさ） パロアルトインサイトCTO。シリコン
「成果を生み出すデータ分析組織」はここが違う リクルートのマネジメント術：これからのAIの話をしよう（マネジメント編）（1/3 ページ） 「これからはデータ活用の時代だ。我が社でもデータ分析の専門組織を立ち上げるぞ。早急に戦力化したいから、あとはよろしく頼む」 さすがに後半の丸投げは多くないと信じたいですが、上層部から同じようなことをいわれた経験がある人が増えているのではないでしょうか。 AIやデータを活用するために新しくデータ分析組織を立ち上げてみても、ノウハウがない企業がすぐに成果を出すのは難しいでしょう。多くの企業がデータサイエンティストの獲得に躍起になっていますが、果たして優秀なデータサイエンティストがいれば、何もかもがうまくいくのでしょうか。 データサイエンティストが1人いれば売り上げが増え、新商品がヒットし、さまざまな経営課題が解決すると考えている経営者は、さすがにいないでしょ
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
【データ分析の民主化】データドリブンな組織になるには何をしたらいいのか考えてみた - St_Hakky’s blog
こんにちは。 今日は、データドリブンな組織になるために、何をしたらいいかを考えてみたので、それについて書きます。 データドリブンな組織の必要性 先日、以下の記事で「データドリブンな組織ってなんで必要なのか」と言う観点で記事を書きました。 st-hakky.hatenablog.com 上の記事を要約すると、以下のようになります。 意思決定を「早く・確実に・納得感を持って」するために、データ分析をする(アナリスト視点) データを活用して新機能の開発やコスト削減を行う(MLエンジニア視点) データ分析をベースにした組織、つまりデータドリブンな組織になるためには「データ分析の民主化」が必要(組織全体の視点) データドリブンな組織になるためには、「データ分析の民主化」って言う最近のホットワード(?)なのか知りませんが、そう言うのが必要です。 ぼんやりした言葉なので、具体的に何をすればいいのかと言う
データパイプライン活用における「知見」だけでなく「つらみ」も共有 – Data Pipeline Casual Talk Vol.2 に参加してきた #DPCT | DevelopersIO
前回「第1回」の開催となった「Data Pipeline Casual Talk」、参加レポートについては下記エントリで言及させて頂きましたが、イベントとしては驚異の競争率且つ実際参加した内容も非常に参加者に好評なものとなっておりました。 Data Pipeline Casual Talk - connpass データパイプラインに関する知見をカジュアルに語る！ Data Pipeline Casual Talkに参加してきた #DPCT ｜ DevelopersIO その1回目の好評を受けて、早速の「第2回」が予定され、2019年04月17日(水)にイベントとして開催されました。第2回は「ブログ枠」が設けられていましたのでその枠を使って参加を確保。当エントリはその参加レポートとなります。 Data Pipeline Casual Talk Vol.2 - connpass 目次 参加レポ
劇的に進化する広告テクノロジー デジタルマーケティング成功の鍵はデータマネジメントにあり ：MarkeZine（マーケジン）
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
新型コロナウイルスの感染拡大を食い止めようと、今、急速に活用が進んでいるのが、私たちの個人データです。LINEから突然届いた健康に関するアンケートに驚いた人たちも多いのではないでしょうか。ウイルスという強敵にビッグデータで挑むためですが、私たちはこの問題とどう向き合うべきなのでしょうか。憲法学の立場から研究している慶應義塾大学の山本龍彦教授に伺いました。（2020年5月4日） 大手IT企業の協力なくして「公衆衛生」なし 新型コロナウイルスの感染拡大で何が明らかになってきたのか？ 山本龍彦教授 国家は『プラットフォーム事業者』と呼ばれるLINEやヤフー、グーグルなど大手IT企業の協力を得なければ「公衆衛生」という重要な国家機能を実効的に果たせないことがわかった。国民の生活の実態や健康情報に関する詳細なデータを持っているのは、国家ではなくプラットフォームで、協力を得なければ有効な対策を打てない
第1回 なぜ、いま、DMPなのか？
オープンDMPとプライベートDMP まず初めにDMPについて説明する。DMPは大きく2つの種類に分けることができる。オープンDMPとプライベートDMPと呼ばれるものだ。 オープンDMPは、データ提供企業が持つユーザー情報やWebサイトのアクセスログ、ソーシャルデータなどを収集／蓄積し、分析することができる。収集／蓄積されたデータは多くの場合、性別／年齢などのデモグラフィック情報や、興味／関心などのサイコグラフィック情報などでセグメント化される。 これらのセグメント化された情報を直接もしくはデータ・エクスチェンジを介して、DSPやAD Exchange / SSP（Supply Side Platform）、企業などへ提供をする。オープンDMPの目的は、これらの3rdPartyデータ（利用企業の自社データではない外部データ）の提供である。このデータを活用することにより、任意のセグメントへ広告
オンライン講座「オープンサイエンス時代の研究データ管理」開講／JMOOCの公認プラットフォーム「gacco」で - 国立情報学研究所 / National Institute of Informatics
大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（所長：喜連川 優、東京都千代田区）は、一般社団法人 日本オープンオンライン教育推進評議会（JMOOC）公認の配信プラットフォーム「gacco」で、無料オンライン講座「オープンサイエンス時代の研究データ管理」を本年11月15日から開講します。本研究所のMOOC講座開講は今回が2回目です。 （2017/08/28更新） 近年、国際的な動向として、論文だけでなく研究データやソフトウェアなどもインターネット上などで社会一般に広く公開・共有する「オープンサイエンス」が新しい研究の進め方として注目されています。異なる機関が研究データ等を共用するためには、それらを共通の名称や形式で保存・公開するなどオープンサイエンスに向けた研究データ管理が求められますが、こうした管理に関する基礎知識やノウハウが普及していないことがオープンサイエンスの推進に
アナリティクスエンジニアのキャリアとデータモデリング 〜資料「30分でわかるデータモデリング」を読む前に知ってほしいこと〜 / 20240116
株式会社リクルート様の社内勉強会で用いた資料となります。 関係者の許諾を得て公開しています。 ＜採用・カジュアル面談＞ https://kazaneya.com/recruit ＜サービス提供＞ https://kazaneya.com/service
#本質的に数字と向き合う夜 が良すぎた
【4/15(月)】本質的に数字と向き合うってこういうこと 〜LayerX 福島良典氏と語る夜〜 (2019/04/15 19:30〜) イベント概要 データ爆発で始まった平成もいよいよ最後の年になり、ビッグデータは民衆のものになりました。 「KPIを見てITサービス運営を行う」なんてものは、もはや息を吸うように常識となりました。… 【4/15(月)】本質的に数字と向き合うってこういうこと 〜LayerX 福島良典氏と語る夜〜 というイベントがあったので、いけなくなった社長の代わりに名刺を2枚奪って社長のふりをして行ってきました(クソリプ対策をしておくと、ちゃんと自分の名刺も合わせてわたしました)。そこで聞いた話がとにかくよかったので内容のメモを公開します。箇条書きなのはメモをそのまま公開しているからです。発言としてあった部分と自分の理解や注釈が混ざってしまっています。ゆるしてください。 ミ
一生使える「SEの共通言語」
記事を書く以上、多くの方に読んでほしいので題名には工夫を凝らす。とはいえ「一生使える共通言語とは大げさすぎる」と思われた読者がいるかもしれない。本題に入る前に題名に込めた意味を書いておく。 「一生使える」とは「長持ちする」を強調した表現である。長持ちするからSEを一生続けるのであればその言語は一生使える。 「SE」の定義は色々あろうが、ここでは「顧客の要望をくみ取って情報システムを設計し開発できる人」とする。 「共通言語」は、SE同士はもちろん顧客とSEの間でも通用する。ローカルではなく世界各国で使われている。 以上の意味を頭に入れて「一生使えるSEの共通言語」とは何かを考えていただきたい。 長持ちしSEと顧客が使えるもの 本稿で用意した答えは「データモデル」である。データモデルは記述された成果物だからデータモデリング手法や表記方法が言語かもしれない。 実は質問の前にデータモデルあるいはデ
ママ向けQ&Aアプリ「ママリ」は、サービス内に機械学習を用いて熱量の高いユーザー同士のコミュニティを健全な状態に保ったり、ユーザー体験をよりよくしたりするなど、技術の力でママの一歩を支えています。インフラ・機械学習チームの永井、野澤にインタビューをし、「ママリ」が秘めている可能性について語っていただきました！ まず、はじめにインフラ・機械学習チーム永井、野澤のご紹介です。永井：ウェブオペレーション領域を専門にし、インフラエンジニアを担当しています。現在は、Docker・AWSをベースとした「ママリ」のサービス基盤作りに取り組む傍ら、ここ一年は機械学習を学んでおり、MLOps的取り組みや一部モデル作成も担当しています。 野澤：趣味で勉強し始めた機械学習にハマり、SIerから機械学習エンジニアとして、コネヒトに入社をしました。「ママリ」のコミュニティ健全化やレコメンドシステムへの機械学習実装に
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Azureテクノロジ入門 2016 目次 - 日経BP書店
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
DXに関する私的な殴り書き - 下町柚子黄昏記 by @yuzutas0
データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
省庁データ 西暦で統一へ | 2018/5/21(月) 7:44 - Yahoo!ニュース
Rettyの意思決定を最大化！データ分析チームの取り組みをご紹介 - Retty Tech Blog
民間企業におけるデータ整備の課題と工夫 / 20220305
「AI・データの利用に関する契約ガイドライン」を策定しました （METI/経済産業省）
こんなデータじゃ機械学習できねぇよ MLにおけるデータマネジメントの重要性
「今機械学習に必要なのはデータマネジメント」5つの秘訣を実例つきで紹介 | AI専門ニュースメディア AINOW
【Quollio】メタデータ・マネジメント入門
「成果を生み出すデータ分析組織」はここが違う リクルートのマネジメント術
(翻訳) データエンジニアリングの未来 - satoshihirose.log
「ZOZO」を支える、最強のデータ活用組織／ZOZOテクノロジーズ「分析部」の正体とは？
「公衆衛生」と「個人データ」 慶應義塾大学 山本龍彦教授 NHK特設サイト
MLチームが語る「ママリ」の可能性 | Connehito Tech Magazine