我が家の BigQuery による台所事情分析 - nownab.log

弊家では銀行やクレジットカードの明細を BigQuery に取り込んでダッシュボードを作ったりしています。 また、そのために作った BigQuery 向けの Go 製 ETL フレームワークを OSS として公開しました。 本記事ではざっくりどんなもんかを紹介して、どう作るのかを説明します。 Google Cloud Platform Advent Calendar 2020 の 13 日目の記事です。 Google Cloud Japan の Customer Engineer の Advent Calendar もぜひご覧ください。 TL; DR 明細が BigQuery にあると、可視化もできるしアラートも出せるし、まぁなんでもできて便利 銀行明細レベルのデータならほぼ無料で保存、ETL、分析できる ETL フレームワーク bqloader を OSS として公開したから使ってくれよ

[since20200516]

MFの強みは「明細の手動取得＆データ整形の代行」だったりするので、そこに価値を見出すかが分かれ目ではありそう　 https://twitter.com/Libero_shunsuke/status/1415856537478725637

[cocoasynn]

Google Cloud のカスタマーエンジニア、年収2000万超えですか…

[etr]

我が家では普通にExcelで記録して、ピボットテーブルで集計してる。昨年、明細が10,000行超えたとこ。全然問題ない。

[inajob]

一家計の分析ならExcelで事足りそう。

[rissack]

いっちょ勉強してみる？と思ったけど、csv手動と聞いて、やる気を一気に失った。

[sho]

「CSV のダウンロード/アップロード」を自動化できるのがマネフォを使う理由なのでは……? そこを失ってまで自力でやる意味なくない?

[for-my-internet-demo]

この辺趣味で組もうかな

[hirorinya]

学び

[otoan52]

“弊家”

[buhoho]

トランザクション履歴とかログみたいに不変な行データ扱うのに向いてるけど、いつでも変更できるミューダブルなデータ扱いにくいんだよな。仕事でむりやりそういう実装させられて意味わかんねーってなった(自分語

[xigemoto]

ここまで詳しく書いてくれてたら、ワンチャン非エンジニアでもできそう。

[ifttt]

「台所事情」って冷蔵庫の中身とか調味料の残量とかのことかと思った（それはそれで管理したい）

[ryskosn]

自分用 Money Forward 的なものが作れるそう。いいかも。

[m50747]

いつかこの手のサービス自作しようと考えていた。 マネーフォワードとなどのサービスの恐ろしいところは銀行明細などを取得する為に認証情報渡さないといけないこと。しかも資産状況全て把握されるし。

[efcl]

銀行やクレジットカードの明細CSVをBigQueryに取り込んでData Studioなどで管理する方法