風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 今回 dbt を利用したデータパイプラインの開発時に、SQLFluff(Linter) を動作させる GitHub Actions を構築しました。 GitHub Actions で SQLFluff を動作させる手順は kazaneya/sqlfluff-dbt-starterkit に公開しているので、よかったら活用してみてください。 この記事では GitHub Actions の環境構築時に発覚した情報漏洩リスクの原因と対策を dbt compile の仕様と合わせ
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。 SQL スタイルガイドを導入した背景 現在 dbt を利用したデータパイプライン開発が活発になってきています。 データパイプラインは「信頼性の高い分析」を効率的かつ迅速に実現するために構築します。 そのため、データの信頼性を担保する仕組みは積極的に導入したほうが良いと考えられます。 今回は以下のような点でデータの信頼性を担保できると考え、 dbt 開発環境に SQLFluff (L
Data Engineering Study #1「DWH・BIツールのこれまでとこれから」 (2020/07/15 19:30〜)
参加方法 今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。 また、コメントや感想は Twitter、講演内容に関する質問は Slido へお願いいたします。 下記、各種URLよりご参加くださいませ！ ▍イベント視聴用 YouTube Live URL - https://youtu.be/hFYNuuAaiTg ▍質疑応答用 Slido URL - https://sli.do/DataEngineeringStudy ▍ギフト券プレゼントキャンペーン参加用Tweetリンク - https://twitter.com/intent/tweet?hashtags=DataEngineeringStudy,今一番気になっているDWH・BIツール ライブ配信終了後、アーカイブ動画の公開を予定しております。 当日の開催時間にライブ参加できない方も、こちらのページ
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 アドバイザーの “たけっぱ”（@takegue） です。 データを整備できる人材が見つからない、採用できない――。 データ活用を考える多くの企業がぶつかる問題です。 どうすればデータエンジニアに来てもらえるのか。 そもそも「データの整備」はデータエンジニアだけの仕事なのか。 風音屋代表の “ゆずたそ”（@yuzutas0）さん と僕のデータエンジニア2人で考えてみました。 ※この記事は、YouTube動画「データマネジメント.fm」の第2回目「データ整備の人材獲得」 を書き起こし、加筆・修正したものです。 書き起こし・編集：
Redshift Serverless について見かけた課題と対応策（2022年7月19日時点）をまとめました。GitHubリポジトリ「Awesome Redshift JP」にまとめた内容の転記です。 概要 プレビュー料金に見える→金額あってそう 名前空間やワークグループの削除エラー→英語表示 ProvisionedとAPIが違う→ラッパーを使う 時間課金でストリーミング不向き→二台構成 or マイクロバッチ化 Redshift Serverless の料金表が「プレビュー」のままに見える（2022年7月19日時点） 日本語だと「プレビュー」の記載がありますが、英語だとPreviewの記載は外れています。 料金表の内容も同じなので、日本語の翻訳が間に合っていないようです。 日本語の料金表: 英語の料金表: Redshift Serverless の名前空間やワークグループの削除ができない
風音屋30分リサーチ#1「法人データの取得と活用」の資料となります。 法人データ利用を検討する際の参考資料としてご活用ください。
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちわ。風音屋アドバイザーの@nii_yanです。 風音屋の創業者であるゆずたそさんやアドバイザーの渡部徹太郎さんが執筆した書籍『実践的データ基盤への処方箋』の輪読会を行いました！ (私も本書のレビュアーとして名前が記載されています！) レビューで少しだけお手伝いさせていただいた 実践的データ基盤への処方箋 献本いただきました！ありがとうございますmm まだすべては読めてないので、これから読むのが楽しみな本です。https://t.co/0G3hn13yd5 pic.twitter.com/nUk1CZykyH — yu yam
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 アドバイザーの “たけっぱ”（@takegue） です。 Webサーバやアプリケーションなどのログが何らかのトラブルで欠損する「ログ欠損」は、データエンジニアが現場でよく遭遇するトラブルです。 しかし本などを見ても、意外と解決方法は載っていません。 そこで風音屋の創業者である “ゆずたそ”（@yuzutas0）さん と、ログ欠損が発生した際、データエンジニアとしてどのような対応をしているかを語り合いました。 ※この記事は、YouTube動画「データマネジメント.fm」の第1回目「ログ欠損が発生した際にどういった対応をしている
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策
大規模サービス開発におけるデータ運用の傾向と対策
dbt 開発で使える SQL スタイルガイドを導入した話
データエンジニア2人がデータ整備周りの採用難について考える
Redshift Serverless について見かけた課題と対応策 - Qiita
法人データの取得と活用 #kazaneya / 20230425
Slackコミュニティで『実践的データ基盤への処方箋』の輪読会を行いました
ログ欠損が発生した時、データエンジニアは現場でどう対応しているか