データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle
この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
この記事について 共感している そもそもDXとは何か デジタル中心のビジネスにどうシフトするか デジタル中心のオペレーションにどうシフトするか 顧客や従業員がラクになる体験（UX） 最近やっている案件 みんなすごい この記事について 下書きの状態で公開することにした。 主観と経験で書いているので、細かい話は要事実確認。 反響があったら後でブラッシュアップするかも。 特定の名前が分かる形での非公開情報は載せていない。 共感している DXという言葉は使わなかったけど、過去に似た内容で登壇したので、一連のツイートに共感しますhttps://t.co/bh8dWDxjpWhttps://t.co/gJjrvLf6tu https://t.co/cTW35ELvIE pic.twitter.com/ImjPYWPP5R— ゆずたそ (@yuzutas0) May 26, 2020 そもそもDXとは何
ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルートが“価値あるデータ整備”のための新たな職種に着目した理由 - はてなニュース
世間でデータの利活用やDX（デジタルトランスフォーメーション）の手法が盛んに議論される一方、データの利活用環境やそれを整備するデータ組織・人材について「理想と現実のギャップ」に苦しむ企業は少なくないでしょう。 そうした企業にとって、事業で得られたデータをスピーディーな意思決定につなげたり、そのプロセスを牽引する人材を育成したりすることは、喫緊の課題であるように思います。 データを活用してカスタマー・クライアント双方の「不の解消」を目指すリクルートも例外ではなく、これまでさまざまな課題に直面してきました。そんな中、同社のデータ推進室では2022年、「データに基づく意思決定の実現」を目標に、D3M（Data Driven Decision Making）部を設立。高精度な意思決定を実現すべく、高品質なデータを提供するアナリティクスエンジニアという職種を導入しました。 一般的に、アナリティクスエ
データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。
Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう！ https://kazaneya.com/kdec ---------------------------------------------------------------------------------------- 「Tech × Marketing Conference 2021 #データマネジメント」基調講演の登壇資料です。 https://techxmarketing.connpass.com/event/229173/ データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高
『データマネジメントが30分でわかる本』を出版しました - 下町柚子黄昏記 by @yuzutas0
『データマネジメントが30分でわかる本』をKindleで販売開始しました！データ活用に関わる方々はぜひお買い求めいただければと思います！https://t.co/aRRYIsJeqR— ゆずたそ (@yuzutas0) March 13, 2020 （自称）企画屋・コンセプトデザイナーの @yuzutas0 です。 共著者・寄稿者を初めとして、スポンサーやレビュアーの皆様、各所で書籍を紹介してくださった皆様、 その他何らかの形でご協力いただいた皆様、本当にありがとうございました。 発売から間が空きましたが、スポンサー報告が完了したので、このブログに制作秘話をまとめます。 自費出版に関心がある人のヒントになれば幸いです。 もくじ もくじ 1. 書籍について 1-1. 書籍概要 1-2. 購入方法 1-3. 本書への反響 1-4. 関係者の皆様 2. 裏話 2-1. きっかけ 2-2. 企画
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
第16回日本統計学会春季集会での発表資料です。 https://confit.atlas.jp/guide/event/tjss2022spring/top https://ies.keio.ac.jp/events/17173/ 講義や共同研究のご相談はブログのお問い合わせ欄にご連絡ください。 https://yuzutas0.hatenablog.com/
Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。前半は使えないデータとは何かについて。 自己紹介 ゆずたそ氏（以下、ゆずたそ）：では、発表を始めたいと思います。「データマネジメントなきMLは、破綻する。〜こんなデータじゃ機械学習できねぇよ問題の処方箋〜」という話をしたいと思います。 はじめに、まず自己紹介です。「yuzutas0」というアカウントをやっています。機械学習の専門家ではないのですが、機械学習を使った施策に
Overview of The Modern Data Stack / モダンデータスタック概論
顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~
累計参加者8,500名！ #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224
primeNumber主催イベント「01(zeroONE)」兼「DataEngineeringStudy番外編」の登壇資料です。掲載内容は収録時点の情報にもとづきます。 https://01.primenumber.co.jp/ https://forkwell.connpass.com/event/237704/
最終更新日： 2020年8月6日 データを活用する多くの企業の価値が向上しています。世界的な企業は、ユーザのデータを巻き込み広告などのビジネスを展開し、現在、多くのビジネスはデータを資本に展開されているといっても過言ではないでしょう。 一方、データの活用の環境が整っている会社ばかりではありません。電子化されていないデータ、管理者がバラバラなデータ、企業によってデータに関する多くの課題があることでしょう。データの課題は、そのままAIの活用を大きく遅らせる足かせにもなってしまいます。 この記事では、重要性が高まる「データマネジメント」について解説します。 バズワード化するAIとデータマネジメントの必要性の高まり 2010年代に入り、今までのシステム以上の精度で画像認識することが可能になり、ディープラーニングなど機械学習への注目が高まりました。 AIの導入に少しでも興味を持った方は、AIの中でも
「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス - Lean Baseball
なんやかんやで, ITコンサルタント（復帰）生活から半年経ったマンです. マネジメントからアーキテクチャ, はたまた技術的なLTまでやらせてもらえて楽しく過ごしております*1. 昨年の話になりますが, コミュニティーやその他の活動で色々とお世話になってる @yuzutas0さん達が執筆しました, 「実践的データ基盤への処方箋」を頂戴いたしました. 実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ 作者:ゆずたそ,渡部 徹太郎,伊藤 徹郎技術評論社Amazon ひと言で言うと, データ活用のためにこういう本が欲しかったんや！！！ というくらい良著で, データ活用に必要な「人・組織・アーキテクチャ」をいい感じに網羅的に扱っていて良きでした（と, 読み終えた時の感想ツイートがそう言ってました）. データを扱う人すべてにおすすめしたい一冊です 読み終えた後も,
風音屋TechTalk #1 メタデータ入門 の発表資料です。 https://kazaneya.connpass.com/event/265752/ 会社や製品に関する問い合わせは、以下にご連絡ください。 株式会社Quollio Technologies お問い合わせフォーム https://quollio.com/contact
マーケター自身がデータを管理するために、広告運用にdbtを導入した経緯と効果 - MonotaRO Tech Blog
こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELTを安定的に回す仕組みが必要になりますが、処理の自動化やデータの品質まで求められるようになると、「データが抽出できる」だけでは限界が見えてきていました。そこで今回、マーケター自身がデータを管理する立場に
データドリブン経営の未来 大阪ガスの最強データ分析組織を率いた立役者と元アップル本社Siri開発者が語り合う | データ経営｜DIAMOND ハーバード・ビジネス・レビュー
『DIAMONDハーバード・ビジネス・レビュー』2019年6月号特集に関連したイベント「データドリブン経営の未来」を開催。アップルのエンジニアとして音声ＡＩ「Siri」の開発に従事した、パロアルトインサイトCTOの長谷川貴久氏、大阪ガスのビジネスアナリシスセンター所長を務め、現在は滋賀大学データサイエンス学部教授の河本薫氏が、データ経営の推進と人材育成のコツを伝授した。2019年7月12日、東京・ビービット本社にて開催。（構成／富岡修、写真／編集部） データ活用に最も積極的な企業、ネットフリックス 「GAFAもすごいですが、現在、データ活用に最も積極的な企業はネットフリックスかもしれない」。パロアルトインサイトCTOの長谷川貴久氏はそう言いながら、自身が加入しているネットフリックスのトップ画面をスクリーンに映し出した。 長谷川貴久（はせがわ・たかひさ） パロアルトインサイトCTO。シリコン
「成果を生み出すデータ分析組織」はここが違う リクルートのマネジメント術：これからのAIの話をしよう（マネジメント編）（1/3 ページ） 「これからはデータ活用の時代だ。我が社でもデータ分析の専門組織を立ち上げるぞ。早急に戦力化したいから、あとはよろしく頼む」 さすがに後半の丸投げは多くないと信じたいですが、上層部から同じようなことをいわれた経験がある人が増えているのではないでしょうか。 AIやデータを活用するために新しくデータ分析組織を立ち上げてみても、ノウハウがない企業がすぐに成果を出すのは難しいでしょう。多くの企業がデータサイエンティストの獲得に躍起になっていますが、果たして優秀なデータサイエンティストがいれば、何もかもがうまくいくのでしょうか。 データサイエンティストが1人いれば売り上げが増え、新商品がヒットし、さまざまな経営課題が解決すると考えている経営者は、さすがにいないでしょ
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
新型コロナウイルスの感染拡大を食い止めようと、今、急速に活用が進んでいるのが、私たちの個人データです。LINEから突然届いた健康に関するアンケートに驚いた人たちも多いのではないでしょうか。ウイルスという強敵にビッグデータで挑むためですが、私たちはこの問題とどう向き合うべきなのでしょうか。憲法学の立場から研究している慶應義塾大学の山本龍彦教授に伺いました。（2020年5月4日） 大手IT企業の協力なくして「公衆衛生」なし 新型コロナウイルスの感染拡大で何が明らかになってきたのか？ 山本龍彦教授 国家は『プラットフォーム事業者』と呼ばれるLINEやヤフー、グーグルなど大手IT企業の協力を得なければ「公衆衛生」という重要な国家機能を実効的に果たせないことがわかった。国民の生活の実態や健康情報に関する詳細なデータを持っているのは、国家ではなくプラットフォームで、協力を得なければ有効な対策を打てない
アナリティクスエンジニアのキャリアとデータモデリング 〜資料「30分でわかるデータモデリング」を読む前に知ってほしいこと〜 / 20240116
株式会社リクルート様の社内勉強会で用いた資料となります。 関係者の許諾を得て公開しています。 ＜採用・カジュアル面談＞ https://kazaneya.com/recruit ＜サービス提供＞ https://kazaneya.com/service
ママ向けQ&Aアプリ「ママリ」は、サービス内に機械学習を用いて熱量の高いユーザー同士のコミュニティを健全な状態に保ったり、ユーザー体験をよりよくしたりするなど、技術の力でママの一歩を支えています。インフラ・機械学習チームの永井、野澤にインタビューをし、「ママリ」が秘めている可能性について語っていただきました！ まず、はじめにインフラ・機械学習チーム永井、野澤のご紹介です。 永井：ウェブオペレーション領域を専門にし、インフラエンジニアを担当しています。現在は、Docker・AWSをベースとした「ママリ」のサービス基盤作りに取り組む傍ら、ここ一年は機械学習を学んでおり、MLOps的取り組みや一部モデル作成も担当しています。 野澤：趣味で勉強し始めた機械学習にハマり、SIerから機械学習エンジニアとして、コネヒトに入社をしました。「ママリ」のコミュニティ健全化やレコメンドシステムへの機械学習実装
DataScience系プロジェクトの育て方 | CyberAgent Developers Blog
AI事業本部 Dynalystの事業責任者の木村です。 Dynalystは広告配信プロダクトとしてもうすぐ6周年を迎えるサービスなのですが、ある程度理想とする組織の姿に近づきつつあるので、プロダクトを支えるデータサイエンスチームについてどういう風にプロジェクトが育っていったか少し紹介しようと思います。 前提とする状況は以下。 広告配信に関わるログは基本的に全てS3に蓄積されている 分析基盤としてRedshiftが稼働しており、だいたいのログはSQLでアクセス可能 配信のアプリケーションはScalaでできている (分析で利用する言語はPython, Rが主) 当然最初からチームがあった訳ではなく、徐々にプロジェクトらしくなっていったというのが正直なところです。 人数論で語るべきものではありませんが、実際やれることの幅は変わってるなということで、規模に応じてどう変わっているかをみてみます。 【
はじめに エニグモでデータサイエンティストを名乗っている庄子です。こちらは Enigmo Advent Calendar 2019 の25日目の記事です。 今年の振り返りも兼ねてのポエムとなります。 さて、データサイエンティストが活躍するためのスキル要件として、いくらでも切りようがあると思いますが、特に自分自身に感じている課題について、4つの力という観点で書きたいと思います。 その1 提案力 PoCとして小規模のデモを行う そのデータサイエンスのアウトプットが使えそうか、事業に詳しい人に想像してもらう 実際にデータサイエンスを使って問題解決できそうな場合も、実際にやってみないと分からないですし、得られたアウトプットが事業に有効かどうかを、事業に詳しい人に意見をいただいた方が良いでしょう。筋が悪そうな分析は早めに判断してもらうためにも、なるべく小規模でPoCを行います。 本年度の振り返りとし
風音屋の選考課題「K-DEC：Kazaneya Data Engineering Criterion」に関する紹介資料です。 https://kazaneya.com/kdec/
はじめに こんにちは。dely開発部でデータエンジニアしてる伊ヶ崎（@_ikki02）です。 本記事はdely Advent Calendar 2020の5日目の記事です。 adventar.org adventar.org （delyでは今年から2レーンでアドベントカレンダーやってます。） 昨日は当社デザイナーの@ysk_enが「マジで助かった、新卒1年目デザイナーの教科書的noteや便利なサービス8選」という記事を書きました。 タイトルの付け方がうまいですね。僕も見習いたいです。 ぜひこちらも一読いただけると嬉しいです！ さて、本日僕が書こうと思う内容はズバリこれです。 あまり最近のデータ基盤について外部発信できていなかったのと、 ちょうど社内でデータマネジメントの機運を高めようと動いていることもあり、 この機会に情報発信しちゃおうと思います。 （ちなみに過去の記事はこちら） tech
はじめに データ分析業に転職してから、機械学習や統計学の手法を中心に学んで来たのですが、それってデータありきの話なんですよね。 データ分析をビジネスに活用するためには、まずデータそのものの準備や適切な管理が必要になります。Garbage in Garbage outという言葉もありますもんね。 在宅勤務で時間に余裕ができた今、データマネジメントについて学んでみることにしました。 勉強材料 データマネジメントを学ぶ書籍としては、 「データマネジメント知識体系ガイド（DMBOK）」というバイブルがありますが、600P超えで如何せん初心者にはハードルが高いです💦。 と思っていたところ、この本を実務者の経験を踏まえて要約した書籍がありました。 その名も「データマネジメントが30分でわかる本」。この本の優れている点はタイトルに書かれているとおり30分でデータマネジメントの概要が分かる点です。 章ご
合同会社風音屋（本社：東京都中央区、代表社員：横山翔）は、データ活用やDX推進に関わる方々を対象に、データマネジメントやデータエンジニアリングに特化した「技術顧問」サービスの一般提供を開始します。 ■背景と目的 データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高くない」「具体的にどのようにデータを連携するのか分からない」といった課題が次々と浮上します。 さらに、データ整備に投資をしても「コンサルティング会社や開発ベンダーに任せたがデータ更新が遅延してばかりで改善の兆しがない」「フリーランスのデータエンジニアにシステム構築をお願いしたが、作り逃げされてしまって、残されたシステムの運用に困っている」「内製エンジニア部隊を立ち上げたが、社内にスキルを評価できる管理職がいない」といった組織課題が次々と浮
データガバナンス(民間の自主的取組) ｜個人情報保護委員会
「個人情報の保護に関する基本方針」（平成16年４月２日閣議決定、令和４年４月１日一部変更）において、PIAや個人データの取扱いに関する責任者を設置すること等によりデータガバナンスの体制を構築することが重要であるとの指摘がなされています。 事業者においては、下記の個人データの取扱いに関する責任者・責任部署の設置に関する事例集、データマッピング・ツールキット、 PIAレポートも参考にしつつ、データガバナンス体制を構築することが望まれます。 個人データの取扱いに関する責任者・責任部署の設置に関する事例集 事業者内に個人データの取扱いに関する責任者を設置することは、データガバナンス体制を構築するための有効な手段となります。そこで、実効的な責任者の設置や活動につながることを期待して、「個人データの取扱いに関する責任者・責任部署の設置に関する事例集」を公表しました。 個人データの取扱いに関する責任者・
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 今回 dbt を利用したデータパイプラインの開発時に、SQLFluff(Linter) を動作させる GitHub Actions を構築しました。 GitHub Actions で SQLFluff を動作させる手順は kazaneya/sqlfluff-dbt-starterkit に公開しているので、よかったら活用してみてください。 この記事では GitHub Actions の環境構築時に発覚した情報漏洩リスクの原因と対策を dbt compile の仕様と合わせ
はじめに はじめまして。 クラシル開発部でデータエンジニアをしておりますharry(@gappy50)です。 この記事は dely Advent Calendar 2021 および Snowflake Advent Calendar 2021の9日目の記事です。 昨日はうっくんさんからのNotionでJiraを作ろう！というとても興味津々話でした！！ やっぱりNotionは色々できるのでいいですね◎ それと私のお話で恐縮ですが、昨日はSnowflakeのイベントSnowdayにてクラシルでのSnowflakeを活用したニアリアルタイム分析の事例についてお話をさせていただきました。 www.snowflake.com 今回はSnowdayでお話した内容のデータエンジニア寄りな詳細と、どのようにSnowflake*1を活用しているかを紹介させていただきたいと思います！ 最近のクラシルデータ基盤
How LinkedIn, Uber, Lyft, Airbnb and Netflix are Solving Data Management and Discovery for Machine Learning Solutions
How LinkedIn, Uber, Lyft, Airbnb and Netflix are Solving Data Management and Discovery for Machine Learning Solutions When comes to machine learning, data is certainly the new oil. The processes for managing the lifecycle of datasets are some of the most challenging elements of large scale machine learning solutions. Data ingestion, indexing, search, annotation, discovery are some of the aspects r
第2回 データアーキテクト（データ整備人）を”前向きに”考える会でトークをさせて頂きました https://analytics-and-intelligence.connpass.com/event/161997/ -- JapanTaxi, Inc. All Rights Reserved 102-0094 東京都千代田区紀尾井町3-12 3-12 TEL 03-6265-6265 FAX 03-3239-8115 https://japantaxi.co.jp/ 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights ReservedRead less
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。 SQL スタイルガイドを導入した背景 現在 dbt を利用したデータパイプライン開発が活発になってきています。 データパイプラインは「信頼性の高い分析」を効率的かつ迅速に実現するために構築します。 そのため、データの信頼性を担保する仕組みは積極的に導入したほうが良いと考えられます。 今回は以下のような点でデータの信頼性を担保できると考え、 dbt 開発環境に SQLFluff (L
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 アドバイザーの “たけっぱ”（@takegue） です。 データを整備できる人材が見つからない、採用できない――。 データ活用を考える多くの企業がぶつかる問題です。 どうすればデータエンジニアに来てもらえるのか。 そもそも「データの整備」はデータエンジニアだけの仕事なのか。 風音屋代表の “ゆずたそ”（@yuzutas0）さん と僕のデータエンジニア2人で考えてみました。 ※この記事は、YouTube動画「データマネジメント.fm」の第2回目「データ整備の人材獲得」 を書き起こし、加筆・修正したものです。 書き起こし・編集：
オープンサイエンスのためのデータ管理基盤ハンドブック - 事業 - 国立情報学研究所 / National Institute of Informatics
概要 より包括的なハンドブックとしていくため、様々な分野の有識者が参画する「デジタル時代のデータ利活用等における法的制度的課題に関する検討会」を令和5年度に情報・システム研究機構(ROIS)に設置し、現在継続的な改版を行っています。 近年の学術研究では、分野を問わず、多種多様なデータを取り扱うことが増えています。データの利活用は、今後の学術研究を進展させるために極めて重要である一方、取扱いを誤ったときには研究の中止や研究成果の撤回に追い込まれるといったリスクも増える等、その取扱いは容易ではありません。研究者の皆様からは、とりわけ個人情報を含むデータに関するルールが具体的にどのようなものであるか分からず、その取扱いを躊躇するといった声が聞かれます。さらに、2022年4月から施行された新たな個人情報保護法においては、公的部門・民間部門を問わず学術研究分野の規律が統一されるとともに、安全管理措置
抽出や集計の依頼を受ける時に気を付けていること / https://speakerdeck.com/shinu/maemuki-data-seibinin02
抽出や集計の依頼を受ける時に気を付けていること / https://speakerdeck.com/shinu/maemuki-data-seibinin02
Redshift Serverless について見かけた課題と対応策（2022年7月19日時点）をまとめました。GitHubリポジトリ「Awesome Redshift JP」にまとめた内容の転記です。 概要 プレビュー料金に見える→金額あってそう 名前空間やワークグループの削除エラー→英語表示 ProvisionedとAPIが違う→ラッパーを使う 時間課金でストリーミング不向き→二台構成 or マイクロバッチ化 Redshift Serverless の料金表が「プレビュー」のままに見える（2022年7月19日時点） 日本語だと「プレビュー」の記載がありますが、英語だとPreviewの記載は外れています。 料金表の内容も同じなので、日本語の翻訳が間に合っていないようです。 日本語の料金表: 英語の料金表: Redshift Serverless の名前空間やワークグループの削除ができない
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
DXに関する私的な殴り書き - 下町柚子黄昏記 by @yuzutas0
データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
民間企業におけるデータ整備の課題と工夫 / 20220305
こんなデータじゃ機械学習できねぇよ MLにおけるデータマネジメントの重要性
「今機械学習に必要なのはデータマネジメント」5つの秘訣を実例つきで紹介 | AI専門ニュースメディア AINOW
【Quollio】メタデータ・マネジメント入門
「成果を生み出すデータ分析組織」はここが違う リクルートのマネジメント術
(翻訳) データエンジニアリングの未来 - satoshihirose.log
「公衆衛生」と「個人データ」 慶應義塾大学 山本龍彦教授 NHK特設サイト
MLチームが語る「ママリ」の可能性 | Connehito Tech Magazine
データサイエンティストとしてアウトプットを改善するために必要な4つの力 - エニグモ開発者ブログ
Amazon.co.jp: データマネジメントが30分でわかる本: ゆずたそ (著), はせりょ (著), 株式会社風音屋 (著), ゆずたそ (編集): Digital Ebook Purchas
データエンジニアリングの実践課題「K-DEC」説明資料 / 20211006
delyクラシル、最近のデータ基盤の話 - dely Tech Blog
製造現場におけるデータマネジメントを考える - だーくまさんのブログ
データマネジメント・データエンジニアリング特化の「技術顧問」サービスを提供開始
dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策
クラシルでのSnowflakeデータパイプラインのお話＆活用Tips - dely Tech Blog
データエンジニアとデータアナリストを兼任して良かったこと
dbt 開発で使える SQL スタイルガイドを導入した話
データエンジニア2人がデータ整備周りの採用難について考える
Redshift Serverless について見かけた課題と対応策 - Qiita
news.yahoo.co.jp
www.iezo.net
xtech.nikkei.com
weddingdress.shop
fukuoka-leapup.jp
www.kyoto-np.co.jp