データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一部で使っていた 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog 定期バッチ処理はArgo Workflows on GKEでやっている 触ってみないと肌感とか自分で運用できるかのイメージが湧かないのでね。 Dataformとの比較 細かいノウハウ 手元や本番環境での動作 Argo Workflowとの連携 環境によってDWHの提供するバージョンを差し替える DWHやデータマートの外の情報をデータリネージに加える 既存

はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事だった。 Reverse ETL — A Primer. Data infrastructure has gone through an… | by Astasia Myers | Memory Leak | Medium 彼女はどんなものをリバース ETL と呼んでいるかというと Now teams are adopting yet another new approach, called “reverse ETL,” the process of moving dat

「○○100本ノックとは」？ プログラミング関係のエクササイズ集・Tips集的なものです。ちょっとしたテクニックや、基礎がまとまっているので解いてみると練習になります。 最初にやるのは退屈かもしれませんが、学習の停滞期にやってみると、思わぬ発見があるのではないかなと思います。 この記事では、Python関係の100本ノックを簡単にまとめてみました。自分が知っているのは、以下くらいですが、他にも良いもの（絶対ある気がします）知っている人はぜひコメントなどで教えてください。 画像処理100本ノック 画像処理100本ノック!! 追記：本家が惜しくも無くなってしまっていたので、fork（？）されていたものにリンク張り替えました。 解説・Google Colaboratoryで実行するときは以下記事参考にしてみてください。 ディープラーニング ∞本ノック 注：元サイトが消えてしまったので、私がfor

Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして

（この記事はVPoE handbookの目次＆サマリパートです） 以下で書き始めを宣言してから進捗が悪思わしくなかったhandbookですが、ようやく書き終わりました。 数えるといつの間にか合計30,000字ほどになり、意外とボリュームが増えてしまったので、少しずつ読みやすいように章ごとに記事にしています。 目次はこの記事の目次部分、もしくはこちらのマガジンの一覧からご覧ください。 この記事自体ではその目次と簡単な解説をつけ、ざっくりと全体像を知り、詳しく読みたい気になる記事を見つけやすくするような構成で書いていきたいと思います。 （この7月からは開発マネジメントのキャリアとはまた違った方向に進みだしたので、賞味期限切れギリギリ?!になりましたがなんとか整理も終わりました。） VPoE handbookを書こうと思った理由まずはなぜ書こうと思った？の問題意識から。 この記事にあるように、三

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。

New Announcing roadmaps for teams. Learn more!Announcing roadmaps for teams! Developer Roadmaps roadmap.sh is a community effort to create roadmaps, guides and other educational content to help guide developers in picking up a path and guide their learnings. Community created roadmaps, guides and articles to help developers grow in their career.

オープンコミュニティ「要求開発アライアンス」(http://www.openthology.org)の2012年12月定例会発表資料です。 Open Community "Requirement Development Alliance" 2012/12 regular meeting of the presentation materials.

データアナリスト/データサイエンティストの登竜門 (Gateway to Success) となることを目指した勉強会「Data Gateway Talk vol.5」に参加しました。 data-gateway-talk.connpass.com 対象を絞った勉強会で以前から関心はあり、今回が初参加です。 本記事では、全発表について概要と所感を述べます。 データ分析業務を1年間やって実感したこと 発表資料 概要 所感 「データ分析」の解像度を上げたい 発表資料 概要 所感 GBDTアルゴリズム Gradient Boost Decision Tree with Iris Data 発表資料 概要 所感 Hivemallを使ってSQLで機械学習 発表資料 概要 所感 SHAP(SHapley Additive exPlanations)で機械学習モデルを解釈する 発表資料 概要 所感 リサー

「声を大にして言いたいのは、『採用は社員みんなでやるもの』だということ」 「採用とは、結局は王道しかないです」 2019年11月19日、組織づくりに携わるエンジニアたちが集まり、知見を共有しあうことを目的とした勉強会「EM Talk #1 〜エンジニア採用編〜」を、メルカリ東京オフィスで開催しました。この勉強会は、組織づくりに欠かせない採用・育成・配属・評価・制度などについて、過去の事例・失敗談・成功談・現在の取り組みを共有するというもの。 当日のコンテンツは、トークセッションとパネルディスカッションの2本立て。そこで今回のメルカンでは、トークセッションとパネルディスカッションそれぞれのレポートを前後編でお送りします。 前編では、トークセッションで語られた内容をお届け。登壇したのは、メルペイiOSチームのエンジニアリングマネージャー（EM）石川直樹と、グリー CTOである藤本真樹さん。2人

じゆうちょう Advent Calendar 2019 18日目の記事です。 概要 データエンジニアリングという業務を扱うにあたって、どのように人事評価を実施するか。 本稿では実践可能なレベルで「評価基準」の例を提示します。 もくじ 概要 もくじ 背景 注意点 本題: 人事評価の設定例 1. マイルストーン（計画） 2. QCDS（構築） 3. サービスレベル（運用） 4. 利益目標（企画） まとめ Appendix 前提1: 本稿のスコープ ＝ 査定でボーナスが上下するような状況 前提2: 被評価者がコントロールできない事象に対してはフォローする 応用編1: 「データ基盤」という固有トピックにおける技術や案件の評価について 応用編2: 「データの民主化」の目標設定をどうするか おわりに 背景 データエンジニアリング業務に伴う「人事」（採用・アサイン・育成・評価）について質問を受けることが

イノベーション イノベーションを起こすためのスキルを習得し、業務に活かす方法を学びます。

大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）

ここ1〜2年くらいで、業務やプライベートのデータ分析・データサイエンスで参考にした本（と一部本じゃないもの）をまとめてみました（注：もちろん全部読んでいます）.*1. なお, あくまでワタシ個人（@shinyorke）の見解に基づいた独自解釈であり、所属組織・チームの意向とは関係ありません（とだけ最初に断っておきます）. サクッとまとめると 「レベル感（はじめて・経験者）」だけででなく,「エンジニア面を鍛える or 理論を固める」の軸で考えると良い書籍・学び方に出会える確率上がる エンジニアでも理論でもどっちから初めても良い, がどちらかが得意な方が絶対幸せ（≒片方だけじゃお話にならない可能性） 個人的なオススメは「機械学習図鑑」「前処理大全」「機械学習のための特徴量エンジニアリング」そして「試して学ぶ機械学習」です. おしながき サクッとまとめると おしながき 対象読者&執筆者について

TL;DR 監視はユーザーにサービスを提供できているかを観測するための行為 SLI/SLOを定めて、SLOを守れるようにモニタリングする ダッシュボードは定常的に表示しておくものと障害時に活用するものを作ると良い アラートはレベル分けして人間が対応しなければならないものだけ人間へ通知する 監視とは サービスを健全に動作させ続けるために監視を行います。 「健全に動作している」の定義はサービスによって異なり、ユーザーにWebページを見せることができることだったり、バッチが正常に終了することだったりします。 最終的にユーザーに正常にサービスを提供できていることを観測するために行うことに変わりはありません。 さてユーザーにサービスを提供するために何を監視しましょうか？ クラウド前提であれば個人的にリソースベース（CPU/Memory）より、 SLI/SLOをベース に監視する事が望ましいと考えてい

背景 Excelにコピペするのは嫌でござる！LambdaもTerraformも書きとうない！Datadogならポチポチだけでできるはずだ！ https://qiita.com/search?q=aws+billing 準備が5つ必要です ポチポチだけでイケた。AWSとDatadogすごい。神。 準備1: AWSでBudgetを作成する AWS請求ダッシュボードにある「Budget」で、雑でも何でもいいので、「予算を作成」してください。もうあるなら、この準備は飛ばして大丈夫です。 作成が必要な理由は、Datadogは、Budget経由でBillingのデータを吸い出しているため、Budgetがとにかく存在してないと始まらないのです。 ちなみに予算を作ったところで、予算を超えると何も動かなくなるとか、予算の金額を毎月必ず請求されるとか、そんなことは一切ないです。AWSからの請求に対して、予算と

ソフトウェアエンジニアリングと一見関わりはなさそうで、しかしチームで成果を出す過程においてとても重要だと筆者が考えているコンセプト、 "Working Out Loud" について書いてみます。 日本語の記事がほとんど見当たらないのであまり知られている言葉ではないかもしれません。 対象読者 以下に興味や関心を持つ方を対象読者として想定しています。 チーム開発におけるコラボレーション手法 チーム開発者としての振る舞い方 テックリードやスペシャリストの育成 が、本心ではチーム開発する全ての方に届いてほしいです。 まえがき ある夜に同僚の@ujihisaと近場ないし遠方のEngineering ManagerやVPofEの皆さんと話す機会があり、その折にふと筆者がこぼしたのが 「開発などの日常の業務において自分がやっている以下の思考様式が大変便利なので、この考え方を最近入社したメンバーにもインス

こんにちは。ニュースパスのサーバーサイドエンジニアをしているmanoです。 昨年末から、ニュースパスで記事にコメントができるようになりました。 そのコメントデータを、AWS Neptuneを使ってグラフ構造で保持しています。 今回は、その実装・運用について書きたいと思います。 AWS Neptuneって？ AWS Neptuneは、GraphDBが扱えるAWSのフルマネージドサービスです(詳しくはこちら)。 マスター・レプリカ構成のクラスターを作ることができ、レプリカは最大で15まで並べることができます。 GraphDBとのやりとりについて、Neptuneは「グラフトラバーサル言語」であるGremlinとSPARQLをサポートしているので、このいずれかで実装することになります。私はどちらも「なんじゃそりゃ」というところからのスタートだったので、直感的に書き方がしっくりきたGremlinを使

社内でKubernetesハンズオンをやってみたのでおすそ分け。 参加者6人からバンバン出てくる質問に答えながらやって、所要時間4時間ほどでした。 SpeakerDeckにも資料を上げています。 https://speakerdeck.com/ktam1219/yaruze-kuberneteshanzuon (2019/07/11追記) 続編書きました！ -> 今度はあんまりゴツくない！？「わりとゴツいKubernetesハンズオン」そのあとに ハンズオンの目標 Kubernetesとお友達になる イメージを掴む 触ってみる(ローカル・EKS・ちょっとGKE) 構築・運用ができるような気分になる 巷にあふれるKubernetesの記事・スライドが理解できるようになる EKSがメインになっているのは、会社の業務でAWSを使うことが多いからです。 純粋にKubernetesを勉強したいだけな