Google Cloudのサーバレスなイベント駆動処理 - Cloud Runアプリをいい感じにTerraformで管理する - Lean Baseball
元・野球エンジニア*1, 現・Google Cloud Partner Top Engineer 2024*2の人です. 相変わらず仕事も趣味もGoogle Cloudで何かをやっているのですが, この年末年始に以下の絵のようなシステムを作りました（正確には「元々あった別システムを作り直しました*3」）. この記事の全体像 Baseball Savantから取得*4した投打のデータ（トラッキングデータ）のCSVをBigQueryのテーブル（事前に定義済み）に突っ込むシステムなのですが, こちらを作る過程で, Cloud RunをPub/Subのメッセージをトリガーとしたイベント駆動で動かす アプリケーション（Goで実装）を純然たるWeb APIとして実装（Pub/Sub専用のアプリではない） 上記の構成をサービスアカウントなどの権限設定含めてTerraformでIaC（Infrastruc
[Google + DeepL + Twitter]中国野球協会の画像アナウンスを翻訳してツイートするまで
データ分析基盤を作り上げたMLBと並行して、実は中国の野球もカバーしようとしています。Zennで野球トークを書くのもよろしくないので、詳しくは省きますが、実は着々と力を付けている国で、依然国内ではマイナースポーツ扱いですが、それでもプレーヤー人口は4000万人と言われる程、巨大なベースを誇る、ロマンの大きなトピックです。 しかし、情報を収集する上で、ちょっとだけ中国語が分かる（とりあえず、中国語検定3級はゲットしました）ものの、サクサクと文を読めるレベルでは全く無い身なので、やはり言語のハードルに悩みます。 特にメインソースにしている中国野球協会のオフィシャルサイトは、公式アナウンスを全てPDFのキャプチャでリリースするので、サクッと翻訳して、文意を汲むフローが行えず、中文弱者としてはちょっとばかり辛い点でした。 私の中国語スキルを上げていくことは並行して行うとして、とは言えハマっているう
![[Google + DeepL + Twitter]中国野球協会の画像アナウンスを翻訳してツイートするまで](https://cdn-ak-scissors.b.st-hatena.com/image/square/632c822c12e02c8310e7532872e08105fa1a31a0/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--FEMJ_X0X--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGoogle%252520%25252B%252520DeepL%252520%25252B%252520Twitter%25255D%2525E4%2525B8%2525AD%2525E5%25259B%2525BD%2525E9%252587%25258E%2525E7%252590%252583%2525E5%25258D%252594%2525E4%2525BC%25259A%2525E3%252581%2525AE%2525E7%252594%2525BB%2525E5%252583%25258F%2525E3%252582%2525A2%2525E3%252583%25258A%2525E3%252582%2525A6%2525E3%252583%2525B3%2525E3%252582%2525B9%2525E3%252582%252592%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252583%252584%2525E3%252582%2525A4%2525E3%252583%2525BC%2525E3%252583%252588%2525E3%252581%252599%2525E3%252582%25258B%2525E3%252581%2525BE%2525E3%252581%2525A7%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ahctaw_srp%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzEwMjc3YmUxYjQuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
野球のビッグデータをGCPとPySparkでいい感じに使いやすくしてみた - DataprocとGCFを使った緩いデータ基盤 - Lean Baseball
最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
