タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
データエンジニア道の俺のバイブル
先人の知恵に学ぶ データエンジニア道で、本当に良かった！読み物を、不定期に追記していく。 A Beginner’s Guide to Data Engineering — Part I データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 Functional Data Engineering — a modern paradigm for batch data processing 関数型パラダイムを使ったデータパイプラインの構築方法。これを初めて読んだ時の衝撃は今でも忘れないし、フルスクラッチからdbtを使ったデータパイプラインになっても健在な設計手法。 Engineers Shouldn’t Write ETL: A Guide to Building a High Function
データエンジニアの私が機械学習・データサイエンスでオススメしたいスキルマップと本まとめ - 2020年版 - Lean Baseball
要約すると, データサイエンス・機械学習周りでよく聞かれること&回答を言語化しました. 「データサイエンティストやりたい」「機械学習エンジニアになりたい」というキャリア志望を持つ方は多いと思います. 私の周りでも, 公私ともにそんな志望者の相談を聞いたり, （主にインターンの学生さんですが）一緒に仕事をしたりする機会もメッチャ多いです. 「ビジネスサイド強いマン」「サーバーサイドエンジニア」という視点からデータエンジニア兼データサイエンティストな自分が, そんな彼ら彼女らにオススメしている, データサイエンティストを目指すためのスキルマップ 各領域のスキルアップを実現するためにオススメしたい書籍 を紹介したいと思います. なお, 昨年も同様のエントリーを書いておりそのUpgrade版となります. shinyorke.hatenablog.com このエントリーの対象読者 データサイエンスに
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
「どのように開発するか」だけでなく、上流からプロジェクトに携わり「何を開発するか」から検討したい、と考えているエンジニアの方は少なくないでしょう。 一方、実際の開発現場では「WHAT（何を開発するか）」がすでにある程度検討され、エンジニアはその実現方法を具体化させるフェーズから参画し「HOW（どのように開発するか）」を考えるケースが多いのではないでしょうか。 「WHAT（何を開発するか）」を検討するフェーズからボトムアップでアイデアを出し、プロダクトの成長にコミットしたいーー。そんな思いを強く持つエンジニアにとって、理想的な環境とも言えるのがリクルートです。 今回、同社を代表するプロダクトである『SUUMO』のレコメンドAPIのインフラを、機械学習エンジニア（以下、MLE）とデータエンジニア（以下、DE）が連携して改修したプロジェクトを参考に、事業成長にコミットするエンジニアの姿を伝えます
Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるかもしれないので、私が考えたことや感じたことをメモ書きとして残しておきます。 在宅勤務と就業可能な地域 Web上でのアウトプット データエンジニアという職種の多様性 転職にあたって重視したこと 魅力に感じた点 当然、不安もある 在宅勤務と就業可能な地域 カジュアル面談させてもらった企業さんは、ほぼ在宅勤務に移行済みだった 隔週や月一で物理出社という会社も半々くらい? 緊急自体宣言が出ていない時期(夏〜秋)にカジュアル面談させてもらったので、今は状況が違うかも カジュアル面談、採用面談もz
世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。 データエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。 データベース プログラミング システム開発 クラウドサービス データ分析 etc……. 私は多少データエンジニアとして経験を積んできており、業務を行う上で読んで良かったと心から思える本があったのでこちらで紹介します。どなたかの一助になれば幸いです。 初級向けデータエンジニアリング 本ではありませんが、データエンジニアリングに必要な知識がスライドやPDFに綺麗にまとまっています。初めて学ぶ方には適しています。後半はAzure製品について記載されているので、前半のデータエンジニアリングの箇所だけ参考にして下さい
データエンジニア / Analytics Engineer向けの権限管理のためのTerraform紹介 - yasuhisa's blog
これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terraformでの権限管理の例 例: データセットの作成 例: データセットに対する権限付与 サービスアカウントの管理 iam_member関連の注意点: AdditiveとAuthorativeを意識する Terraformで管理されていなかったリソースをTerraform管理下に置く: terraform import Terraformの登場人物 terraform planやterraform applyの
どのようにデータ分析基盤を構築してきたか、活用までの道のりや苦労を現場の人間に聞く「データ分析基盤Developers Night」。4回目の今回は、「活用されるデータ基盤」をテーマに、Sansan株式会社の千葉祐大氏が登壇。データ分析基盤を改善するまでに浮き彫りになった課題と、そこからどのようにストレスなく利用できる分析基盤を作ったのか、また設計の方針から実際に運用してわかった今後の課題について話しました。 ※新型コロナウイルス対策のためオンライン開催に変更されています。 開発エンジニアからデータエンジニアへ 千葉祐大氏（以下、千葉）：Sansan株式会社の千葉からは「Sansan DSOC を支える名刺データ分析基盤」の構築、運用上の困ったことなどについて発表します。 まず自己紹介をします。3年前にSansanにジョインして、現在はデータエンジニアの仕事をしている千葉祐大です。データエ
データエンジニアと作るデータ文化
オープンセミナー広島2022での登壇資料です。 当日のライブ配信です。 Youtube https://www.youtube.com/watch?v=XgVbZZyoFxQ
ニンテンドーシステムズ、IT技術者の中途採用開始 データエンジニアなど19職種 「良い意味で面倒くさがりな人」求む
任天堂のシステム開発などを担うニンテンドーシステムズ（東京都渋谷区）は7月5日、IT技術者の中途採用を始めると発表した。データエンジニアやフロントエンドエンジニア、ゲームサーバエンジニアなど全19職種を募集。仕事内容は、ニンテンドーアカウントやニンテンドーeショップなどのサービスに関わるものという。
「データエンジニアに求められるソフトスキル」 デジタル庁 Fact & Data Unit hase-ryo 2023/07/25 株式会社トラックレコード主催「データエンジニアのキャリア戦略を考える。」にて発表 https://tech-track.connpass.com/event/288079/
「こんなことまでしてくれるの！？～データエンジニアを助けてくれるFivetranとSnowflake～」で発表した登壇資料です。 https://dev.classmethod.jp/news/230119_fivetran-snowflake
データ戦略部データインフラストラテジーセクションでデータエンジニアリーダ兼、データストラテジストをしている藤井です。 現在、私の所属しているデータインフラストラテジーセクションは昨年12月に出来たばかりのセクションで名前のとおり、ネクサスの必需品である「データ」という必需品の基盤を支えるセクションです。 データインフラストラテジーセクションに関する詳細は、以下の記事を参照ください。 データインフラストラテジーセクションの紹介 | バンダイナムコネクサス データエンジニア tech blog 株式会社バンダイナムコネクサスは、名前の通りバンダイナムコグループに所属する会社で、バンダイナムコエンターテインメントの100%子会社です。 特にデータ戦略部はバンダイナムコグループ唯一のデータ専門部署で、データを取り扱うことに強みがありデータを取り扱う職種が多種多様に存在しています。 データ戦略部に関
依然として高まり続ける「データサイエンティスト」への関心と、それを追う「データエンジニア」と - 渋谷駅前で働くデータサイエンティストのブログ
今回の記事はいつものようにネタが見つからなくて困ったので窮余の一策としての与太話です。話題はこのブログで時々やっている「データサイエンティスト＆関連職に関するGoogle Trendsを用いた意識調査」です。 ちなみに、某協会が学生向けのアンケートで意識調査を行った結果が最近報じられていて、SEやコンサルタントなど他職種と比べた場合にどれくらいの立ち位置にあるかの参考になるかもしれません。 対象となる職種 完全に独断と偏見に基づきますが、今年のスキル要件記事で定義した「データサイエンティスト」「機械学習エンジニア」「データアーキテクト」の3つと、さらに後二者の言い換えもしくは類似概念とされそうな「データエンジニア」「AIエンジニア」の2つを加えた、計5つを今回の調査対象としました。 特に「データエンジニア」についてはやはり「データアーキテクト」という語がいわば玄人の間で使われているのに対し
滋賀大学データサイエンス学部（2017） 横浜市立大学データサイエンス学部（2018） 武蔵野大学データサイエンス学部（2019） 長崎大学情報データ科学部（2020） 立正大学データサイエンス学部（2021） ※（）内は設立年度 ただ、個々の大学で公開されているシラバスやカリキュラムを調べてみても、「データエンジニアリング」で独立したような講義はほぼ見つかりません。全体の講義内容を詳しく見ても、データエンジニアリングとして取り扱われるものは先ほどと同様にコンピュータの仕組みとプログラミングの基礎が中心であることが多く、一部でデータベースについて取り上げられているくらいです。 なぜデータエンジニアリング教育が難しいのか このような現状になっている背景を考えてみましょう。それは、データエンジニアリング教育が難しいことにあり、具体的には3つの要因があると考えます。 時間的余裕がない まず、そ
データ分析の目的はレポートやグラフの作成ではありません。翔泳社から発売した『スケーラブルデータサイエンス』では、その目的を「ビジネスで成果を出すためのより良い意思決定」としています。今回、データサイエンスのノウハウを詳細に解説した本書から、データ分析の目的やデータエンジニアの役割について説明した第1章の一部を紹介します。 本記事は『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』の「第1章 データに基づくより良い意思決定」からの抜粋です。掲載にあたり、一部を編集しています。 データ分析の主目的は、より良い決定を下すことです。分析結果に基づいた意思決定が必要なければ、そもそも、分析に時間を費やす必要はありません。たとえば、中古車の購入を検討する際に、車の製造年と走行距離を販売店に問い合わせることがあります。 これは、車が販売されてからの経
分業化が進むことで個別分野のエキスパートは増え、各問題に対する即応度は高まった感はあるものの、膨大なデータを背景にした意思決定のさらなる高速化が求められる現代においては、独立性の高い分業形態では追いつかないケースが増えています。翔泳社から6月5日に発売した『スケーラブルデータサイエンス』は、そのようなニーズに応えられるデータエンジニアとして、GCPを援用することで自身をスケールアップする方法を解説しています。 『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』は、理論的な側面だけではなく、実際に利用できるサービス構築をも視野に入れられる“エンジニア”を目指す方のためのガイドです。 もちろん、全エンジニアが本書に描かれているような、意思決定のためのデータ収集からクレンジング、ビジネスサイドからの要求に対応した分析向け各種アルゴリズムの選定
概要 データエンジニア界隈で話題となってきたdbtに関する調査内容を共有します。 OSS版のdbtでも機能が充実しており、データエンジニアの方には一部の機能の利用だけでも価値があるツールです。 必要に応じて、この記事を更新します。 dbt（Data Build Tool）とは dbtとはData Build Toolの略であり、dbt Labs社が開発しているデータ連携のELTにおけるT（データストア内でのデータ変換）の実施をサポートするツールです。 機能をざっくり整理すると下記のものがあり、SQL文のコンポーネント化やドキュメントの自動生成に特異性があります。 有償版であるdbt cloudとOSS版であるdbt Coreがあります。dbt cloudにて、developer版という個人検証用の無償ライセンスもあるので、とりあえず触りたい方はこちらがおすすめです。 引用元：dbt Pri
株式会社primeNumberでChief Product Officerを務めている小林寛和と申します。 私は新卒から今までデータエンジニアとしてキャリアを歩んできました。新卒で入った事業会社ではデータ分析基盤の新規構築をリードし、現在ではtroccoというデータエンジニアのためのサービスを立ち上げてプロダクトの責任者を務めています。 キャリアの大半をデータエンジニアとして過ごし、さらに現在ではそれらの方に向けてサービスを提供している立場として、これからデータエンジニアになろうとしている方に最初に学んでほしい3つのポイントをまとめてみました。 なお、本記事では以下のような方を想定しております。 これからデータエンジニアになろうとしている これからデータ分析基盤を新規に立ち上げようとしている データエンジニアリングの必修科目とは データエンジニアリングの必修科目を考えるために、まずはどのよ
【3分で完了！】TeamsのBotが超絶簡単だったので、つくってみた - 凡人データエンジニア
PythonからTeamsに通知するBotをつくってみた ある業務でエラー処理したいな～となり、普段の仕事ではslackではなく、Teamsを使っているので、TeamsでBot作ってみました！ SlackのBotより設定が簡単でした。 TeamsにIncoming Webhookを設定する TeamsでIncoming Webhookを設定します ①Teamsにログインし、コネクタをクリック 作りたいチャネルの「…」マークをクリックし、「コネクタ」をクリック ②Incoming Webhookを追加 Incoming Webhookを一覧から探し、「追加」をクリック ③任意の名前を記載し、作成 任意のBot名を記載し、作成をクリック。アイコンは後からでも変えられますし、ここで好きなアイコンに変えてしまっても大丈夫です。 ④WebhookURLをコピーし、控えておく(後で使います) 作成をク
TOPインタビュー需要急増「データエンジニア」はなぜアツいの？「縁の下の力持ち」を面白がるデータのスペシャリストたちを直撃 DATUM STUDIO株式会社 CTO 光田健一 横浜国立大学大学院にて応用数学を専攻。卒業後、凸版印刷で電子書籍事業の立ち上げを経て、GREEでSNSやゲームの分析を経験。その後、人工知能研究・深層学習研究の先駆者、松尾豊氏が技術顧問を務める「PKSHA Technology」で、アルゴリズム・システム開発に携わる。2019年DATUM STUDIO（データム スタジオ）株式会社に入社し、現在はCTOとしてプロジェクト遂行、組織の技術力向上に貢献している。 ちゅらデータ株式会社 CTO 兼DATUM STUDIO株式会社 菱沼雄太 北海道出身。名古屋市の専門学校を卒業後、市内の金融系SIerのエンジニアとして上流工程を担当した後、東京でエンタメ・ゲームなどの業界で
医薬系のデータエンジニアというお仕事 近年、医薬品（製薬・創薬）関連企業や大学病院などの多くがITエンジニアを積極採用しようとしているのはご存知でしょうか？ 多くの人に馴染みのある知名度の高いweb系企業とは違い、医薬系企業に注目しているエンジニアの数は少ない気がします。でも、元々がITに強い業界ではないだけに、初心者エンジニアでも採用されやすい狙い目の業界だったりするのです。 私は某製薬関連企業で、データエンジニアとして働く者。元々はしがないwebエンジニア（正直、web開発者としては手が遅くダメな方だった...）。 いわゆるデータサイエンティストやAIエンジニアになりたい場合、多量のデータを持っている医薬系企業や大学病院で働くことは近道の一つなのです（もちろん、データサイエンスやＡＩを勉強すれば、なれるかも、ですが）。また、グローバル企業も多く、職場がホワイトで待遇も安定しているところ
なんの話？ 三行で。 サービスが急成長しデータ量が増えた際にデータエンジニアリングは必要とされる。 エンジニアリングに必要なスキルセットは比較的明確で、駆け出しエンジニアにもポジションあるよ。 データエンジニアリング業務を経て、データサイエンティストなど他職種にランクアップすることは可能。 [おまけ1] "data+engineer+positionでググる"と、主に海外のData Engineer(DE職)のお仕事が入門者レベルからエキスパートレベルまで見つかるよ...Tokyoをつけると、東京でのDE職も見つかる。転職活動で普通に有用。 *[おまけ2] 末尾におまけとして、現在私が取り組んでいる『2020年代のデータ分析基盤の基本設計』に関して日々調べていることを、公開できる範囲で書いておきたい(内容はコメント欄に随時更新)。実際のデータエンジニアリング実務の一端を知ってもらう意味で。
JDMC LT#1 「データ組織がデータマネジメントを進める上でのポイント」 発表者資料 (2022/12/16実施） テーマ： 「分析組織でデータエンジニア組織を立ち上げた話」 発表者： 株式会社バンダイナムコネクサス データ戦略部データサイエンス＆ストラテジー室 データストラテジーセクション データストラテジスト 藤井 祐麻さん Connpass詳細 https://jdmc.connpass.com/event/267021/ アーカイブ https://youtu.be/j8Z8sSMU5Qs © Bandai Namco Nexus Inc.
「実践的データ基盤への処方箋」輪読会のレポートは、以下の記事に分けて掲載しています。 データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ整備編〜（今回） データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート ～データ基盤システム編～（第2回） データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ組織編〜（第3回） データエンジニアリング、データ活用の知見の共有を目的としたコミュニティdatatech-jpおよび株式会社風音屋の協力のもと「実践的データ基盤への処方箋」の輪読会がオンライン形式で開催されました。輪読会は3回に分けて開催され、発表者だけでなく執筆者も参加し、書籍では扱えなかった内容についても議論が交わされました。本稿では輪読会の様子をダイジェストで紹介します。 データ基盤に応用されるソフトウェア開発のノウハウ
風音屋TechTalk#4 ChatGPTを業務利用しているデータエンジニア3名の座談会 #kazaneya / 20230426
風音屋TechTalk #4「ChatGPTを業務利用しているデータエンジニア3名の座談会」の登壇資料です。 https://kazaneya.connpass.com/event/281108/ 風音屋TechTalkは、風音屋（@kazaneya_PR）のクライアントや社員が気になっているテーマについて有識者から話を聞いたり、最近の取り組みやテクノロジーについてカジュアルに話す勉強会です。 第4弾となる今回は、風音屋のクライアントであるNE株式会社の熱田様、風音屋アドバイザーとして翻訳プロジェクトをリードしている打出さん、風音屋代表の横山（ゆずたそ）の3名でChatGPTの業務利用について話します。
世間には「あこぎな商売」というのが結構あって、最近流行りのプログラミングスクールとかいうのはまさにその「あこぎな商売」の典型だろうと思う。昨今の流行りのワードを借りれば「情弱ビジネス」であり、はっきり言ってしまえばボッタクリである。 プログラミングスクールがボッタクリである理由は単純で、高額なプログラミングスクールなんかで配布される教材や講習内容なんかよりも圧倒的にクオリティが高くて実践的な教材がネット上には大量に溢れており、しかもそれらはほぼ無料で手に入るから。 例えば日本ではそれなりに名の通ってるIT企業が新卒向けに数千万(推定)のコストをかけて本気で制作し、実施しているエンジニア向けの研修内容や教材が、ネット上で普通に公開されている。しかも大量に。 研修資料まとめ.md · GitHub 莫大なコストをかけて雇った自社の新人向けの研修なわけだから、クオリティの低いものを作れば損失に直
必要なのはデータサイエンティストではなく、データエンジニア
この記事は、著者の許可を得て配信しています。 https://www.mihaileric.com/posts/we-need-data-engineers-not-data-scientists/ データはどこにでもありますが、私たちはより多くのデータを手に入れようとしています。過去5～10年の間、データサイエンスは、その禁断の果実を味わおうとする新規参加者たちを、いたるところで惹きつけてきました。 しかし、今日のデータサイエンスの採用状況はどのようになっているのでしょうか？ 忙しい読者のために、記事の要旨を2文で解説します。 要約: データサイエンスと比較して、データエンジニアリングの企業では70%以上、募集中の仕事があります。次世代のデータおよび機械学習を習得した人材を育成するにあたり、エンジニアリングスキルをより重視すべきだということです。 データの専門家のための教育プラットフォー
これは何? この記事は、 FOLIO Advent calendar 2020 の12日目の記事です。 11日目は、paulxllさんのデータマートを一から作り直した話でした。 13日目は、Yuki Ishikawaさんです。 先日、@j5ik2oさんからお誘いいただいたので、@MinoDrivenさんと一緒にいろいろ話して来ました。 今回は、その時に紹介した内容の補足や話し足りなかったことを書いていこうかと思います。 話してきたこと 私が主に話したのは以下の2つについてでした。 データ基盤から見たときのアプリケーション側の技術的負債の見え方 データ基盤から考えるドメインオブジェクトとモデリングについて 詳細については割愛しますが、主に以下のキーワードにまつわる話と、データマネジメントの営みを疎かにすると如何に大変かを話してました。 キーワード イミュータブルデータモデル @kawasim
データエンジニアとは？仕事内容から年収、必要スキル、資格まで徹底解説 データアナリティクスやAI技術の発展により、データサイエンスに取り組む企業が増加しました。それに伴い「データエンジニア」という職業が注目されています。データ処理システムの構築だけでなく、運用や機械学習などにも関わる職種です。要求されるスキルの幅は広いですが、将来的な需要が高く長期的なキャリア形成が可能な職種といえるでしょう。 今回の記事では、そんなデータエンジニアの仕事内容、気になる年収と給料、なるために必要なスキル、取得したい資格などを紹介します。 データエンジニアとは データエンジニアは、大規模なデータの活用を支える基盤構築と運用の専門職です。インフラ・データベース・開発などITエンジニアとしての基本スキルに加え、ビッグデータを扱うための分散処理やデータマネジメントに関するスキルが要求されます。 活躍する場所として機
データエンジニアのススメ
株式会社var社のLT会でデータエンジニアについてお話しました。 主観とデータサイエンティストとしてのポジショントークが入り混じった内容になってますので、ツッコミが多い内容だとは思いますが、そこはご容赦いただけますと幸いです。 株式会社var社の会社概要: https://var.co.jp/ wantedly: https://www.wantedly.com/companies/var RareTECH（var社運営のITスクール）: https://raretech.site/ エンベーダー（var社のサービス）: https://envader.plus/
データエンジニアのすすめ - Qiita
この記事では、業務システム(SoR, SoR)ではなく分析システム(SoI)を前提とした内容についてもう一歩踏み込んで書いてきます。ここまで読んで、もし業務システムの方にしか興味がなければ、この先はまた興味が出てきたら読んでみてください。 分析システム(SoI)の3層構造 分析システム(SoI)でのデータエンジニアの主な仕事は、システム利用者がデータをすぐに適切な状態で取得することができるデータ基盤を設計することです。このデータ基盤は、大きく1.データ活用層(BI層)、2.データ蓄積層(DWH層)、3.データ連携層(ETL層)の3層構造に分割して考えることができます(下図)。 このデータ基盤の3層構造は、Web3層構造(Web/AP/DB)のデータ基盤アーキテクチャ版だと解釈してもよいと思います。このように分割することで、データ基盤の構成について考えやすくなり、チーム作業での議論や作業分担
第2回 データアーキテクト（データ整備人）を”前向きに”考える会でトークをさせて頂きました https://analytics-and-intelligence.connpass.com/event/161997/ -- JapanTaxi, Inc. All Rights Reserved 102-0094 東京都千代田区紀尾井町3-12 3-12 TEL 03-6265-6265 FAX 03-3239-8115 https://japantaxi.co.jp/ 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights ReservedRead less
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで徐陽氏が、データプラットフォームを統合するために導入したマネージドワークフローサービスについて共有しました。 誰もが簡単にデータを楽しめるように 徐陽氏：こんにちは、徐陽と申します。私は、Data EngineeringセンターのData Platform室でソフトウェアエンジニアをしています。データパイプラインとバッチインジェスチョンの構築に、これまで5年間取り組んできました。 また、社内で使用する効率化ツールの開発も行っています。私のビジョンは、私たちが提供するサービスで、社内の必要な人が簡単に正しくデータを扱えるようになることです。 本日はまず、LINEのETLバッチの現状と問題点についてお話しします。
はじめまして、鈴木です。 2023年5月に株式会社バンダイナムコネクサスにデータエンジニアとして入社しました。 この記事を執筆した時点でちょうど入社から2ヶ月経とうとしている頃だったので、今回の転職理由と、なぜバンダイナムコネクサスに入社を決めたのかを書き残しておこうと思います。 また、現在弊社に興味を持っている方の参考になるかもと思い、実際に入社して感じたこと、やったことなども書いていこうと思います。 1. 前職前職は主に法人向けSaaSビジネスをしている会社で、研究開発向けのデータ分析基盤と、全社横断のデータ基盤開発を行っていました。会社の様々な場所にサイロ化してしまっていたデータを1つの基盤に集約して、分析や意思決定に活用することが目的です。 データ基盤自体はGCP上にあり、Cloud Composerを使って全社のデータをBigQueryに自動連携するシステムを作っていました。 私
技育祭は「技術者を育てる」ことを目的としたエンジニアを目指す学生のための日本最大のオンラインカンファレンスです。「技育祭2023【春】」に登壇したのは、ちゅらデータ株式会社CTOの菱沼雄太氏。データエンジニアの仕事内容や求められるスキル、学習パスについて話しました。全2回。後半は、データエンジニアの学習パスについて。前回はこちら。 授業だけマン・研究で機械学習やってるマン・インフラ型・DB特化型…それぞれの学習パス 菱沼雄太氏（以下、菱沼）：データエンジニアの学習パス。必要スキルもSQLとPythonだとみなさんわかったところで、エンジニアの学習パスをちょっと話そうかなと思います。 例えばデータエンジニアの学習パスはこんな感じのがよくあるパターンかなと思っています。Startが左上にあって、SQLの基礎とか、一段目にPythonの基礎とか、Linuxサーバーとか触ってみたり、開発環境とかね
「実践的データ基盤への処方箋」輪読会のレポートは、以下の記事に分けて掲載しています。 データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ整備編〜（第1回） データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート ～データ基盤システム編～（第2回） データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ組織編〜（今回） 2022年1月から2月にかけて、データエンジニアリング、データ活用の知見の共有を目的としたコミュニティdatatech-jp、株式会社風音屋の協力のもと「実践的データ基盤への処方箋」の輪読会がオンライン形式で開催されました。輪読会は3回に分けて開催され、合計9名の発表者と、多くの参加者が集まり、さまざまな議論が交わされました。本稿では輪読会の第3回の様子をダイジェストで紹介します。 データウェアハウス、ワークフ
datatech-jp Casual Talks #2で発表した内容 https://datatech-jp.connpass.com/event/244516/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
データエンジニアが事業成長をリードする。『SUUMO』のレコメンドAPIはこうして進化した - はてなニュース
コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog
2024年版：データエンジニア向け推薦本リスト｜zono
Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法
20230725_データエンジニアに求められるソフトスキル
データエンジニアを助けてくれるFivetranとSnowflakeの仕様＆機能のご紹介
バンダイナムコネクサスで構築しているデータ基盤の紹介 | データエンジニア tech blog
データ活用の基盤を築くデータエンジニアの育成に向けて：大学におけるデータエンジニアリング教育の観点から | gihyo.jp
何のためにデータを分析するのか？ 『スケーラブルデータサイエンス』が教えるデータエンジニアの役割
データエンジニアの必須スキルとそれをサポートするGCPを一望する『スケーラブルデータサイエンス』
データエンジニア界隈で話題のdbt（data build tool）のまとめ - Qiita
データエンジニアが最初に学ぶべき3つのポイント：「ETL」「データモデリング」「ワークフロー」 | gihyo.jp
需要急増「データエンジニア」はなぜアツいの？「縁の下の力持ち」を面白がるデータのスペシャリストたちを直撃
医薬系データエンジニアのはじめ方、そして、稼ぎ方のイロハ。 - Qiita
急成長する《現場》の、データエンジニアというお仕事。 - Qiita
「分析組織でデータエンジニア組織を立ち上げた話」（バンダイナムコネクサス藤井 祐麻さん）
データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート 〜データ整備編〜 | gihyo.jp
プログラミングスクールというボッタクリ情弱ビジネスについての所感 - データエンジニアの酩酊日記
データエンジニアから見たモデリングについて話してきました #匠真堂 - Qiita
データエンジニアとは？仕事内容から年収、必要スキル、資格まで徹底解説 | AIdrops
データエンジニアとデータアナリストを兼任して良かったこと
誰もが簡単にデータを楽しめるように LINEのデータエンジニアが挑む、一般ユーザーでも使えるプラットフォーム作り
バンダイナムコネクサスに入社しました【データエンジニア】 | 組織紹介
「優秀なデータエンジニアの条件は？」「必要なスキルはどう学ぶ？」 業界トップの“バ美肉おじさん”が学生に教える、データエンジニアのあれこれ
データエンジニア大集合！「実践的データ基盤への処方箋」輪読会レポート〜データ組織編〜 | gihyo.jp
モダンデータスタックとかの話(データエンジニアのお仕事とは)
news.yahoo.co.jp
www.greenfamily0122.club
dwango.co.jp
kyunmiyabi.hatenablog.com
news.yahoo.co.jp
www.inside-games.jp