近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記

久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って

[cocoasynn]

Athenaをちゃんと使うためにはそれなりに運用コストかかるってのはもっと知られていいと思うな

[whitecrane89200]

自分の狭い観測範囲でもRedshiftからBigQueryへの移行案件は結構耳にするなぁ。結局DWHの運用だけに専念できるリソースは限られていて、大概は分析やサービス開発とかと兼任になる気がするから、それならBQって話かな

[send]

BigQueryとRedShiftは使い所が違うだろとは思う。TDは今苦労している

[girled]

事業のほうがもうスケールしないのであれば安心

[Horiuchi_H]

“本当の意味でフルマネージドであり、スケールするDWHはBigQueryのみ”

[takezaki]

“2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでる”

[el-condor]

BQは使ったことないけどRedshiftは確かに案外スケールしないなとかデータのコストを強く意識させられる感があり、「フルマネージド」、本当に「フル」か?とか問い詰めたくなることはある

[yukiyan_w]

一応、割とちゃんとした比較記事を貼っておく。 https://services.google.com/fh/files/blogs/esg_economic_validation_google_bigquery_vs_cloud-based-edws-september_2019.pdf

[mkzs]

オンプレ並列分散処理基盤の運用地獄を思い出す

[fjkz]

『日系のベンダーが4〜5人(推測)で開発したであろうHadoopディストリビューションという名のゴミを売り込んで導入したりとかマジで詐欺行為を目の辺りにしたこともある。』

[northlight]

何も考えずBQに全部任せる！ならこれでいいと思う。

[michael-unltd]

“BigQueryが存在しているこの世界においては、DWHとしてBigQueryを採用しないことはそれ自体がアーキテクチャとしての欠陥であり、アーキテクトとしての責務の放棄である”

[T-miura]

金額高めのパッケージBI使って、苦しんでる、、って言ってる人にとりあえず送り付けたわ。まあ、客が客なんで、オンプレ縛りとかあるかもしれんけど。

[kawasin73]

ミドルウェアとか SaaS を作る側からすると、こういう設定なしの自動スケーリングとか使いやすさが重要になるんだろうなと。 いろいろ仮定をおいて設定ファイルに書かせたりするけど、自動でやるのが使いやすくて親切

[tmatsuu]

わいわい

[y_maeyama]

迷ったらBigQueryと覚えておこう。

[tito1201]

ふむー。

[dkfj]

AWSはDataLakeとしてのS3と、DWHのRedshift, Athenaがちゃんと役割分担できているのが強みだと思う。S3起点に用途に応じて使い分けられるように設計しないと後が辛くなる。BigQueryが凄いというのは全面同意。

[k2wanko]

BigQueryの仕組みと運用体制を知れば、他が敵うわけない。

[griefworker]

「本当の意味でフルマネージドであり、スケールするDWHはBigQueryのみであり、どうせ大して熟慮せずにアーキテクチャを決めるんだったらとりあえず無思考にBigQueryを使っておけば良い」

[quabbin]

現在はBQ最盛期に見えるが、次の波は来ているのだろうか？　う～む

[new3]

“2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでる” わかる。わかりしかない。炎上しかない。

[mandel59]

BigQueryが落ちたときは泣いて回復を待つしかない……

[anoworl]

Treasure Dataの中の方の話も聞きたいな

[newnakashima]

なるほどー。。

[taiyow]

AWSが流行ってるのは、とにかくサポートがまともだから、だろう。

[sasasin_net]

圧倒的わかりみ（語彙力

[yoiIT]

どこかで聞いたような話。みんなそう思ってるんだなぁ。

[megamouth]

“日系のベンダーが4〜5人(推測)で開発したであろうHadoopディストリビューションという名のゴミを売り込んで導入したりとかマジで詐欺行為を目の辺りにしたこともある”

[ruicc]

へえ、まあbqは確かに便利

[n314]

そもそもなんでAWS流行ってるんだろう？マーケティングとか一見分かりやすそうな資料とか？

[no-cool]

個人的に本当タイムリー

[fb001870]

“BigQuery” グーグルか…

[yuzutas0]

BQに限らず「とりあえずこれでええやん」という選択肢があるときに、その選択肢が棄却されて、何かと理由を付けて仕事のための仕事が生み出されてしまうのが悲しい。顧客体験と事業利益にだけフォーカスしたい。