最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
OpenShift.Runで登壇した資料です。
家庭向け電気代の値上げの実施を受けて、大手電力の収益が改善している。31日までに発表した東北電力や中国電力など電力大手8社の2024年3月期の連結最終損益は、計9405億円の黒字（前期は約4170億円の赤字）になる見通し。法人向けを含め電気代の値上げが8000億円規模で収益を押し上げる。円安が進んでいるほか冬以降に燃料価格が上昇に転じる可能性もある。ウクライナ侵攻後の燃料高で財務体質が大きく傷
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン（以下、カプコン）。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging
freee の権限管理基盤マイクロサービスの今を語ろう！ - freee Developers Hub
はじめに こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。前職ではできることをできる限りやろうというスタンスで開発チームをリードし、アーキテクチャ設計やチームビルディングなどに取り組んでいました。その後 2022 年に freee へ入社し、freee で初めてエンジニアリングマネージャーの役割に。変わらずできることにできる限り取り組むスタンスでチームビルディングに従事しています。 この記事では、我々のチームが担当している権限管理基盤について語っていこうと思います！ 権限管理基盤の成り立ち freee では、「スモールビジネスを、世界の主役に。」をミッションに掲げ、統合型経営プラットフォームの開発・提供を進めています。最近では freee Togo Panorama を公開するなど、統合に向け
【$13,000→$5,000】AWS S3 コスト削減!! オブジェクト削減とS3 Standardから Glacier Instant Retrievalへの移行 - CARTA TECH BLOG
はじめに 新卒3年目のらぴおです。入社当初からエンジニアとして広告事業を営むZucksでアドネットワークの開発、運用に携わっています。 Zucksでは、2022年夏頃から円安の影響でサーバ費が上昇しコスト削減の温度感が高まっていました。 そこで、 僕が携わるアドネットワークにおいては、少ない作業量で大きい見直し効果が期待できそうなAWS S3のコスト最適化に取り組む ことになりました。 S3全体で月々のコストが $ 13,000 を超えており、特に広告配信関連のログデータが大部分を占めていました。 今回は、僕が実施したコスト削減調査と実施プロセス、その成果を共有します。 S3のコスト削減は、以下のアプローチで行います。 オブジェクト数を減らす 最適なストレージ階層に移行し保存する これらの取り組みにより、月々のストレージコストを $ 13,000 から $ 5,000 に削減 することがで
SRE 統制チームの oracle です。 この記事は freee 基盤チームアドベントカレンダー の12日目になります。 今回は AWS の 組織移行を行った話をさせて頂きます。 AWS の 組織移行というのはどういうこと？と思われる方もいらっしゃるかと思いますので、正しく説明しますと、 既存の複数の AWS アカウントを構成している AWS Organizations を解体し、新規に作成した AWS Organizations にすべてのアカウントを移動させました。 となります。 その動機とアプローチについてご紹介したいと思います。 背景 AWS 組織移行する前から、freee では 数十の AWS アカウントを運用していました。運用の仕方は組織によって様々ですが、一般的にはプロダクトで分けたり、環境で分けたりすることが多いかと思います。 freee でも同様の手法でアカウントを分け
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
どうも、freee でエンジニアリングマネージャー をやっている sentokun です。 以前に私の所属しているチームで開発している権限管理基盤マイクロサービスの記事を書いたのですが、そういえば「権限制御ってなに？」という説明をしていないと思ったので、今回記事にしました。 権限制御とは？ freee の権限管理基盤が行なっている権限制御とは？を一文でまとめると以下となります。 アクセス制御ポリシーを元に、ユーザーの属性に合わせた適切なアクセス制御を行うこと というわけで、この記事は権限制御について説明しました。ありがとうございました！ … とはなりませんよね。ちゃんと一文の中の要素を分解してそれぞれ解説していきます。 ユーザーの属性 適切なアクセス制御 アクセス制御ポリシー ユーザー属性とは？ freee ユーザーが持っている、様々な属性のことです。例えば以下が挙げられます。 管理者やメ
データ基盤を作ってもデータ分析ができるようにはならないので、作るのと使うのは一緒に考えよう｜データ分析とインテリジェンス
データ基盤は令和の箱物行政にしないためにどうもデータ基盤を作ったりするのに比べると、データを使う話、特に意思決定のための分析について語られることが少ない。 もちろん単純に比較できるような話ではなく、データ基盤が不要だという話でもない。それにしても偏りすぎであり、この10数年（どころかずっと前から）かわらない。 その理由の1つには「データ基盤を作ってデータを集めておけば、あとはデータが活用できる」という考えがある気がしている。今回は、それは間違いであり、正しく使うためのスキルはデータ基盤を作ることでは養われることはないということを書いた。 データ基盤があっても正しくデータ分析ができるようにはならない「食材と調理器具があれば料理はできる」は間違いではない気がする。しかし「正しく料理ができるか」という点から考えると怪しい。 料理をするにしても、何も教えずに食材と道具を渡すだけだと何が起きるか。例
SREの河村(at-k)です。 本記事は freee基盤チームアドベントカレンダー の1日目になります。 カレンダー企画にあたり 今年もこの季節がやってきました。年末に向けて冬が深まり、心なしか忙しなくなってくる中、毎日ブログが一本ずつ投稿されていくのを見て年の瀬の近づきを感じる、ある種の風物詩となっています。 そもそもアドベントカレンダーは12月1日からクリスマスまで続く長い前夜イベントで、日本では、少なくとも筆者には馴染みがないものでした。そんな元ネタから派生した形で、近年ではIT企業が中心となってテックブログを日次で投稿していくイベントとして広く認知されてきています。ことの経緯を知らなかったので調べてみたのですが、意外に歴史は古く、日本では2008年頃からPerl界隈で賑わっていて、海外ではそれ以前からそれなりに定着していた文化のようです。 freeeでも毎年アドベントカレンダーが企
この記事はfreee 基盤チーム Advent Calendar 2023 の2日目の記事です。 こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。今回はその権限管理基盤チームの体制について語っていこうと思います。チームビルディング的な話としてお役に立てれば幸いです。 長い記事となったので、5日目との前後編でお送りさせていただきます。後編はこちらで公開予定。 チーム体制はざっくり以下の図のように立ち上げ期、探索期、構築期を経て現在に至っており、この記事では現在について記載していきます。後編では現在に至るまでの話を記載します。 チームの歴史イメージ 権限管理基盤とは？の記事: developers.freee.co.jp また、この記事では ユーザー = 基盤を利用する freee プロダクトとし
【LayerX／プレイド／マネーフォワード】データマネジメントの勘所－マルチプロダクトSaaSを支えるデータ戦略の重要性－ https://techplay.jp/event/908124 動画 ＜あとでURL貼る＞
OneLogin + Terraform によるアカウント管理・権限管理基盤の紹介 - freee Developers Hub
本記事はfreee基盤チームアドベントカレンダーの7日目です。 昨日のWaTTsonさんの記事は色んな意味で強烈な内容でしたね。未見の人は是非チェックを。 今日の記事は少し渋目な感じになります。 はじめに あらためましてこんにちは、SREの河村(at-k)です。今回のアドカレでは2回目の登板になります。 1回目の1日目の記事では、アドカレのテーマである "基盤" とはなんぞやということを、サービス構成図に照らし合わせて紹介しました。本記事では、freeeにおけるアカウント管理・権限管理についてお話させていただきます。 なお、2日目と5日目に sentokun から紹介された "freee 権限管理基盤を開発するチーム" はfreeeの各プロダクトから利用される基盤サービスを開発するチームで、今回も権限管理ではありますが別件です。今回はfreeersに払い出されるアカウント、例えばAWSのI
freee 基盤チーム Advent Calendar 2023 13日目です。 はじめまして。SRE Platform Delivery チーム（以下 Delivery チーム）の tetora です！ 今年の3月に freee に join しました。 年末年始はずっと積ん読していた三体の完結編を満を持して読もうと思っています。今からワクワクが止まりません。 はじめに 現在、freee ではプロダクト開発に Amazon EC2 を標準の開発環境として採用しています。 どの IT 企業でも入社したエンジニアがまずはじめにやることは開発環境の構築かと思います。 そして多くの場合、開発環境の構築は入社したてのエンジニアにとって最初の難関だと思います。 freee には多くの開発者がいます。プロダクトの規模も大きく数も多いです。 開発環境の構築のしやすさや安定した運用はプロダクト開発において
今日は「異動戦国」制度を利用して「共通Admin 基盤開発チーム」に異動した話をしようか - freee Developers Hub
こんにちは。 この記事は freee 基盤チーム Advent Calendar 2023 12/09(9日目)の記事です。 昨日は imariku さんの TerraformのAWS ProviderでRoute Table Resourceを利用するときに気を付けたほうがよいこと - freee Developers Hub でした。tfstate の変化を確認することの大切さが書かれていますね。 今日は今年の7月に基盤側の開発組織である「共通Admin 基盤開発チーム」に異動した にいおか が書きます。 freee の「異動戦国」制度を利用した経緯やら思いやら、そういうのを書いていきます。やっていきましょう。 こういう話を書くよ freee の異動戦国とは どうして異動しようと思ったんよ 異動してから何していたの 異動してみての感想 異動戦国 is なに 異動戦国とは、1年に1回自分
freee 権限管理基盤を開発するチームのこれまでを語ろう！ - freee Developers Hub
この記事はfreee 基盤チーム Advent Calendar 2023 の5日目の記事です。 こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。この記事は前後編となっています。前編はこちら。 今回は、権限管理基盤が現在の体制に至るまでの遷移を書いていきます。以下の立ち上げ期、探索期、構築期に関する話となります。 チームの歴史イメージ また、この記事では ユーザー = 基盤を利用する freee プロダクトとして記載しています。 チームの遷移 〜 幻の大地 この章では、現在に至るまでのチームの遷移について記載しています。 (前回に引き続きドラクエ繋がりで、無理があるサブタイトルとともに) 立ち上げ期 プロダクトの協力により実現できた 1st リリース 権限管理基盤マイクロサービスの開発は、20
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
「共通基盤」を超えよ！ 今、Platform Engineeringに取り組むべき理由
電力8社、全社が大幅黒字に 値上げで8000億円押し上げ - 日本経済新聞
次世代データ基盤：データレイクハウスを Google Cloud で実現する
AWS の組織移行をしました - freee Developers Hub
権限制御とは？ を freee の権限管理基盤で説明 - freee Developers Hub
freee 基盤チームアドベントカレンダーの歩き方 - freee Developers Hub
freee 権限管理基盤を開発するチームの今を語ろう！ - freee Developers Hub
バクラクのデータドリブンな事業運営・爆速開発を支えるデータ分析基盤のこれまで・現在・これから
freee の EC2 開発環境基盤について - freee Developers Hub