BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ… とりあえずカラムとかサンプルでちょっとデータをみたいよな, こんな感じだっけか？ とりあえず動かしてみよう, ポチッとな. … 5秒でレスポンスが帰ってくる. おー、速い. えーっと, あれ課金データ309TB？！ いちげきひっさつ、ハサンギロチン2. BigQueryでクエリ一撃5 秒で29万円溶かした人の顔# 話題の画像生成AI, DALL･Eをつかって BigQueryでお金溶かした人の顔を表現してもらった3. あ

[sucrose]

ちなみにLIMITではなくテーブルのサンプリングの機能を使うと処理するバイト数が減って料金も減らせます(試しに一部だけデータを見るときには。集計目的だと偏るのでダメ) https://cloud.google.com/bigquery/docs/table-sampling?hl=ja

[sh19910711]

"SolanaのPublic DataをBigQueryで取得したかった / 5秒でレスポンスが帰ってくる. おー、速い. えーっと, あれ課金データ309TB / 心の動揺を落ち着けるために父親に電話" / 2023

[georgew]

十分おしっこちびりそうなくらいに怖い話。裏でフルスキャンやってるLIMITは落とし穴だなぁ。

[razihai]

実行計画出すみたいな感じで発行前に想定金額みたいの出して欲しいところだね、、、

[fog-og-frog2]

5秒ってRDBの変な設計したテーブルから引っ張ってくるのに比べたら十分早いのがまたw SQLの顔をしたSQLじゃないやつって地味にあるよね。それはそうと30万のクレジットって使い切れねぇ(｡º̩̩́⌓º̩̩̀).゜

[kyopeco]

高級Queryっぽいのはやる前に確認だな。このQueryなら、感覚的には10行だけScanして欲しい気持ちはわかる。

[takeda25]

気が動転してクリエになっている箇所があるので探してみよう

[ujeuau]

BigQueryでクエリ一撃5 秒で29万円溶かした息子から電話を受けたパッパの顔もほしい。半分オレオレ詐欺みある。

[poliphilus]

怖すぎるなこの仕様…。どう使うのが正解なんだ。

[tgk]

「強烈に分散しておけばfull table sacnしても速い」という設計思想と「scanした量に従う」という課金体系が合っていない

[kuracom]

このデータ量を5秒でフルスキャンできるのか…

[ryshinoz]

軽く利用するには面倒かもだけどredashのようなdryrunを実行して設定したスキャン量超えたら実行できないツールを利用したり、where句にパーティション指定しないと検索できないテーブルにするなど

[tmatsuu]

こわい。普通のデータベースのように気軽にクエリーできるもんじゃない。BigQueryのドキュメントを漁ってみたところ、dry-runでデータ量がわかるから課金額を計算してね、ということらしい。

[lyiase]

みんなは必ずGoogle Cloud Consoleでデータ処理量眺めながらやろうね！あと少ないからと言って調子乗ってると沢山やってると何万円にもなって驚くぞ！(実体験) 注意しようね！

[mas-higa]

想定金額って…「このクエリーは約29万円かかります。実行しますか? なお想定金額算出の費用として29万円請求します」

[omega314]

クソなところはクソって言わないとよくないと思う。

[tet00]

“たとえLIMITを書いてもデータをフルスキャンするようだ” うぉー…これは良い勉強になりましたね…

[xKxAxKx]

これは義務教育で教えるべき -> “LIMITを書いてもフルスキャンしたあとにフィルタリングするだけでスキャンデータ量に効果はない.”

[cartman0]

クエリ実行前に想定料金出ないんかね

[syu-m-5151]

怖い顔になりました。

[miiton]

頭ぽーっとしてるときにやりそうで怖い

[regularexception]

5secで300TB走査出来るの凄いな

[mumei-0]

“BigQueryで309TBのデータを誤ってクリエしてしまい高額課金になってしまったがGCPサポートに相談してなんとかなった.”

[tallmen]

これ帳消しになったのは公表しちゃマズいんじゃない？よく考えてみ。

[snobsnog]

クレジットで補填ってことは一度払うのは払ってる……ってコト！？

[ya--mada]

「STOP!詐欺被害、私たちは騙されない」。bqのパブリックデータで迂闊にフルスキャンしてしまい高額請求された、払えないと本垢のGoogleアカウントをBANされる…。などと現金29万円を要求。電話で「bqフルスキャン」に注意

[strawberryhunter]

こういうのがあるのにBigQueryは結構使われているっぽくてハラハラする。

[soreso]

最後まで読んでも「詐欺やん」の印象が消え切らなかった

[fhvbwx]

Googleありがちなミスを許してくれるのは寛大だけどアラートぐらい出そうよ

[hobbiel55]

「LIMITを書いてもフルスキャンしたあとにフィルタリングするだけでスキャンデータ量に効果はない」「WHEREについても同様」309TBスキャンするだけで29万円稼げる商売と考えるといいな。

[miyasakura]

AWSのAthenaだとlimitでスキャン量減るんだよね。自分もこれはやりそうだ

[quality1]

ビューだとプレビュー機能はない。もうほとんど無意識にselect * limit 10を打ちたくなる。上限設定しとくしかない。

[takilog]

怖い

[Mofuyuki]

実行計画的なものないのかな。