プログラミングとプロダクト作りは楽しいよ, っていう「個人開発ネタ」の話です. スポーツ観戦, 具体的には野球のデータ分析DX（Digital transformation）*1を実現しました. 記事の前半はプロダクト企画とアーキテクチャ, 後半はDash（Python）を使ったマルチページ・データ・アプリケーション開発の話となります. TL;DR SpreadsheetとPythonのアプリケーションでいつでもメジャーリーガー（全選手）のパフォーマンスを好きな条件で可視化できるようにしたら野球が面白くなりました. https://example.com/batter/ohtani-shohei/2024-03-20/2024-04-28?cache=false みたいなURLを開くと, オオタニサンのパフォーマンス（現地時間2024/4/28までの数字） 以下の成績をいい感じにグラフ・可

ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも

元・野球エンジニア*1, 現・Google Cloud Partner Top Engineer 2024*2の人です. 相変わらず仕事も趣味もGoogle Cloudで何かをやっているのですが, この年末年始に以下の絵のようなシステムを作りました（正確には「元々あった別システムを作り直しました*3」）. この記事の全体像 Baseball Savantから取得*4した投打のデータ（トラッキングデータ）のCSVをBigQueryのテーブル（事前に定義済み）に突っ込むシステムなのですが, こちらを作る過程で, Cloud RunをPub/Subのメッセージをトリガーとしたイベント駆動で動かす アプリケーション（Goで実装）を純然たるWeb APIとして実装（Pub/Sub専用のアプリではない） 上記の構成をサービスアカウントなどの権限設定含めてTerraformでIaC（Infrastruc

最初に言っておきます, 「野球」っていうワード以上に「エンジニアリング」なエントリーです*1. 野球方面の人は最初の雰囲気を読んで最後まで読むか判断してください, 「オオタニサン」っていうワードは出てこず「Go」「Pub/Sub」「コンテナ」とかそんなのばっかり出てきます🙏 という前置きはさておき, 最近はGoでモノを作るのが好きになってきており, 今はというと, PyCon JP 2022およびデブサミでお披露目した「野球データ基盤」の刷新をGoで少しずつやる. 野球データ基盤を構成するマイクロサービスのうち, Goでやったほうが効率良さそうなサービスをGoに書き換え. クラウドサービスは引き続きGoogle Cloud（これはマスト）だが, マイクロサービスのワークロードはCloud Runに統一*2, 可能なら「マルチコンテナ*3」を採用してサービスを一つに統一したい. といった事

こんにちは。kimihiro_nです。 今回はプロダクトで使用しているデータベース(MySQL 互換)を AWS から Google Cloud に引っ越ししたときのはなしを紹介します。 AWSから Google Cloud へ AWS では MySQL 5.7 互換の Aurora グローバルデータベースを利用していました。 グローバルデータベースを使っているのは、大規模災害時におけるリージョンレベルでの障害に備えるためのもので、万一リージョンレベルの障害が発生してもサービス継続できるような体制を作っていました。 今回ある事情から Google Cloud の CloudSQL へのお引っ越しを行い、同じようにホットスタンバイでのマルチリージョン構成を構築することになりました。 なぜ AWS から Google Cloud に 恐らく一番気になるのがこの理由の部分かもしれませんが、大人の

仕事がずっとコンサルワークなので, 休日のプログラミングがめちゃくちゃ楽しみになっている人です. 最初にお礼をさせてください, Developers Summit 2023の発表, なんだか好評価（高評価）だったみたいです. #devsumi 開催報告によると、私のトークの満足度は全90セッション中11位でした🎉 フィードバックコメントも多数いただき、誠にありがとうございました！ 次回作にご期待ください（多分夏ぐらいになるだろう）https://t.co/68lYY2vj25— Shinichi Nakagawa / 中川 伸一 (@shinyorke) 2023年3月2日 練習やレビューに協力いただいた皆様, そして何よりも当日私のトークを聞いていただいた皆様, 誠にありがとうございました. さて, 当日の発表では「GoでRESTful APIを作って運用しましたよ」という話をしました

Developers Summit 2023登壇資料 https://event.shoeisha.jp/devsumi/20230209/session/4196/

はじめに 不動産情報サイトにおいて、Google Cloud を用いてリアルタイムデータ分析基盤を（部分的に: 詳細は後述）構築したので、その詳細を紹介します。 構築目的 不動産情報サイトでのデータ活用 不動産情報サイトでは、ほとんどのユーザは初回訪問でコンバージョン（Web での問い合わせ等）します。 そのためセッション内での訴求が必要となり、行動ログ等のユーザデータをリアルタイムで取得、さらにセッション内の行動を計測できるようにすることが望まれます。 Google アナリティクスの代替 今回の対象サイトでは、ユーザ行動ログを取得するため Google アナリティクス（GA）を使用しています。 しかし、ユニバーサルアナリティクス（UA）から Google アナリティクス 4（GA4）への移行に伴い以下の理由から、自社で行動ログを取得/分析するシステムを構築しました。 BigQuery E

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle

現役選手ドラフトのルールと, 最近のトレード多すぎなアレで現役選手ドラフトの分析を諦めたマンです.*1 それはさておき, 私はつい先日, 「メジャーリーグのデータ分析・可視化をカジュアルにいい感じにやるためのデータ基盤が欲しい」と思い, 以下のような野球データ基盤を作りました. 野球データ基盤 ダッシュボード（このブログのメインテーマ） 基盤そのもののアーキテクチャやデータ関連の話題はこちらのブログおよび, PyConJP 2022の発表資料をご覧頂ければと思いますが, このダッシュボードを開発するにあたり, Dash（分析ダッシュボード本体, 言語はPython） Cloud Run（フルマネージド・サーバレスなコンテナ実行環境） GitHub Actions（アプリケーションの自動テストとデプロイ, 所謂CI/CDの実行環境） を使って「作ったものをサクッとデプロイして公開」するような

PyCon JP 2022 10/15 Talk Session Material # Reference https://shinyorke.hatenablog.com/entry/baseball-data-visualization-app https://shinyorke.hatenablog.com/entry/ohtani-san-pitch-2022

日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, （休んでいる間のリハビリがてら*1）PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤（ちなみにメジャーリーグです）を作っていたのですが, それがいい感じに完成しました. アプリとデータ基盤をどのように作ったのか どのような処理, どのようなユースケースで動かしているのか これらをどのようなアーキテクチャで実現したのか 以上の内容をこのエントリーに書き残したいと思います. なおこのエントリーは, PyCon JP 2022のトーク「Python使いのためのスポーツデータ解析のきほん - PySparkとメジャーリーグデータを添えて（2022/10/15 16:00-16:30）」の予告編でもあります. なので, 後日のトークをお楽しみに

今日のテーマ ※【2022/8/4更新】正式版がGAとなりました, ブログ記載の内容と異なる所がある可能性があるのでご注意ください&本番などで使っても大丈夫です！&別のブログも書いたのでその話も追加 仕事もプライベートもよくGoogle Cloud（GCP）を使っている人です. 最近はGoogle Cloudの資格取得, 頑張ってます*1. ちょっとしたSlack Botを作りたい ちょっとしたデータ収集クローラー（Webクローラー&スクレイピング）がほしい ちょっとした「CSVとかJSONのファイルをBigQueryに放り込む）簡単なETLがほしい なんて時に, Cloud FunctionsというGoogle Cloudのサーバレスな従量課金FaaS（Function as a Service）でシュッと関数作って運用しているのですが, つい最近そんなCloud Functionsの第

個人開発（趣味プロジェクト）でプロダクトを作りながら, 本職の仕事でソリューションアーキテクトっぽいことをしているマンです*1. 最近は個人開発のネタとして, プロ野球選手の成績予測プロジェクト ヘルスケア周りの自分専用プロダクト開発 この2本軸で週末エンジニアリングをしているのですが, これらの事をしているうちに, Webアプリケーション + 分析用のデータ基盤の最小セット, みたいなパターンが見えてきた クラウドにおけるサービスの選び方・スケール（=拡張）するときに気をつけるべき勘所 みたいなのがまとまってきました. せっかくなので, 言語化した上で再現性をもたせよう！という主旨でこのエントリーを書きたいと思います. なお, これだけは強く言っておきます. 参考にするのは自由です&真似ができるようなプラクティスではありますが, ベストプラクティスかどうかは（この記事を読んだ皆様の）状況

つい最近, 学生に見られてしまった42歳*1（外資コンサル企業マネージャー）です. 今, プライベート（いわゆる個人開発）でWebサービスを開発しようとしているのですが, Webサービスの性質上, 何らかの認証機能が必須 ↑が必須なのはわかるけど, 自分で開発（コードを書く）のは正直つらい（かつ自前で書くほどの要件でも無さそう） クラウド（今回はGoogle Cloud）で運用するのは決まってるので, 既存のクラウドサービスでどうにかならないか? といういい感じにサボる効率的なソリューションを探した結果, ワイ「どうやらCloud EndpointsとFirebaseでどうにかなるらしい🤔」 とわかり, 実際にどうにかなりそうなものができたので, 自分が忘れないように（&似たような状況の方のお役にたてるように）メモとして残したいと思います. TL;DR Google Cloudでサクッと

最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform

JX通信社シニア・エンジニアの@shinyorke（しんよーく）です. ちょっと前のお話になりますが, JX通信社のニュース速報アプリ「NewsDigest」で, 「AIワクチン接種予測」という新機能の提供を開始しました. prtimes.jp 「自分がいつコロナワクチンを接種できるか?」を簡単に予測できるサービスです. 使っていただけると嬉しいです🙏 大変ありがたい事に,「AIワクチン接種予測」はリリース後多くの反響を頂いていまして, リリースから約半月で利用回数が100万回を突破（プレスリリース）. 同じく, リリースから半月で20本以上ものTV番組で紹介 と, 多くのユーザーさんにお使いいただきました. ありがとうございます🙏 これだけ多くの方に使っていただくとなると, リクエスト数・ユーザー数の増減に合わせたコンピューティングリソースの配分 特に, 「TV経由で認知したユーザー

GCP（Google Cloud Platform）を個人開発プロダクトの中心として使っているマンです. AWSやAzureなど他のクラウドサービスもそうですが, クラウドサービスを自分の財布から使ってる時ってめちゃくちゃドキドキしませんか？特にお金の話💰 gigazine.net 例えばこういう記事が流れてくると, 勉強のつもりでアカウント作ったけどどうしよう🤔 仕事で使ってるけど怖くなってきた😫 などなど, 色々と不安を覚えると思います, 自分も昔はそうでした, クレカの情報入れるのこわいお💳的な. ですが安心してください. 仕組みを正しく理解して使えば個人レベルだとメチャクチャ安く収まります. このエントリーでは, 私が今年（2020年）に使ったGCPの料金をチラ見せしつつ, 目的に合わせたクラウドサービスの使い方をTipsとして紹介し, GCP（に限らず他のクラウドサービス

はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその

JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）です. 最近のStayHome生活は, 「YouTubeでUK Rock🎸, お笑いの動画を見まくる」「地元のお取り寄せグルメを楽しむ」「野球データ分析に集中する」で楽しんでいます. JX通信社では, 「FASTALERT」などのプロダクトのデータをBigQueryに集約し, 機械学習を用いたプロダクト開発・施策 プロダクト・サービスの改善に関する分析 日々のイベントをメトリクス化して可視化（いわゆるBI的なもの） に活用しています. このエントリーでは, ？？？「BigQuery?使い方わからないし💰かかるって噂を聞くのでコワイよ」 ワイ将「BigQueryコワクナイヨー, ガンガンBigQuery使えるように仕組み作ったので乗っかりましょ！」 というお話を残したいと思います. TL