Dataformを使ってデータ分析基盤を構築した話 - Leverages データ戦略ブログ
はじめに こんにちは。レバレジーズ データ戦略室の辰野です。 前回の投稿からいつの間にか1年以上経過していました。引き続きデータマネジメントやデータガバナンスに関連する仕事をしていたのですが、今回は私が昨年度末に取り組んだ、Dataformを利用したデータ分析基盤の構築についてお話させていただきます。 Dataformとは Dataformとは、現在Google Cloudで利用できるデータモデリングツールの一つです。ELT（抽出、読み込み、変換）処理における、T（変換）の部分を管理できます。主な機能として、下記があります。 SQLワークフローを開発、実行できる テーブル同士の依存関係を管理できる テーブルの品質テストができる これらの機能を利用することで、すべてのデータプロセスを管理することが可能です。 （参考：Google Cloud,Dataform の概要） Dataformを導入
個人事業主として副業を受けるために調べたこと - y-ohgi's blog
TL;DR 主観がご多分に含まれています。 僕(20代ソフトウェアエンジニア)が副業を個人事業主として受けるために色んな人に話を伺ってまとめたテキストです。 マサカリは大いに歓迎。 収入が20万以上になると確定申告が必要 確定申告を行う際に一括で税金を支払う必要があるため、その分のお金を貯めておく必要が有る 個人事業主になるのが有利。 控除を受けることができ、業務関連の出費を"費用"にできる。 税理士を頼んだほうが良い。 諸々の業務関連の出費だけではなく、税理士代・家賃・インターネット代などを良い感じに費用にして節税してくれる 自分語り なぜ副業をしようかと思ったのか 現職で1年間（研修を含めてると1年半）働き、「やってることがマンネリ化してきたので違うことをやりたい」と思ったのが一番の動機です。 自社では好き好んでクラウド領域をやっていいて、ありがたいことに「クラウドができる人」的な立ち
ソフトウェア開発における人的リソースの理想的な配分
背景SRE という概念が生まれてから数多くの開発チームで「ソフトウェアエンジニアリングの手法で運用を改善する営み」が行われてきた。 同時に、技術的負債が経営レベルで認知されるようになり、日常の会話の中でも長期・短期のトレードオフを念頭に置いたプロジェクト推進がやりやすくなったのは言うまでもない。 しかし、スタートアップでは Dev と Ops が別れていることは稀で、「全員が全てに対応する」ような状況になってしまうことがしばしばある。これは小さい組織だけの問題ではなく、例えば大企業の中の新しいプロダクト開発チームでも同じことが言える。 SRE を念頭に置き、技術的負債の主導権を握るために必要なチーム体制とはどういうものなのだろうか？ タスクの分解小さな組織のソフトウェアエンジニアは日々数多くのタスクを与えられている。場合によっては数名のメンバーで新規機能開発から日々の不具合修正、そして S
インフラをやってきた話 - logiqboard
この記事はpyspa advent calendarの6日目として書かれました どうもfeizです。前回の投稿日が2013年とかでちょっと引きました。 好きな牛丼屋は吉野家です。 去る7月より、20台の大半を過ごした株式会社ビープラウドを退職し、BASE株式会社に入社していました。 現在はPAY.JPというサービスでインフラをメインに担当しています。 長いこと勤めた会社を辞めて一区切りついたところで、とりとめもなくポエムでも書いてみようと思います。 §1 ここ数年、webサービスのインフラの仕事を担当することが増えた。増えたどころか、ほぼ全案件インフラ担当を兼任していたように思う。 新卒の頃から数えても、「サーバーをインフラの人に頼んで工面してもらう」みたいな経験自体があんまりなく、大体自分で作ったり管理したりしていた。小さなチームでばかり仕事をしていればまあ当然かもしれない。 §2 そん
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ビッグデータと機械学習の狭間で -データエンジニアに求められる役割-
機械学習基盤を一人で構築するということ / Hitori ml team - Speaker Deck
