プログラミングとプロダクト作りは楽しいよ, っていう「個人開発ネタ」の話です. スポーツ観戦, 具体的には野球のデータ分析DX（Digital transformation）*1を実現しました. 記事の前半はプロダクト企画とアーキテクチャ, 後半はDash（Python）を使ったマルチページ・データ・アプリケーション開発の話となります. TL;DR SpreadsheetとPythonのアプリケーションでいつでもメジャーリーガー（全選手）のパフォーマンスを好きな条件で可視化できるようにしたら野球が面白くなりました. https://example.com/batter/ohtani-shohei/2024-03-20/2024-04-28?cache=false みたいなURLを開くと, オオタニサンのパフォーマンス（現地時間2024/4/28までの数字） 以下の成績をいい感じにグラフ・可

ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも

仕事はともかくとして, 個人として趣味エンジニアリングと野球データ分析の人です. このブログは先日（2024/3/8）に開催された「第22回 酒とゲームとインフラとGCP」の発表および質疑応答から生まれたエントリーとなります. speakerdeck.com 現地も大変盛り上がりましたし, スライドも殊の外に反響を頂いて*1驚いています. この場を借りてお礼申し上げます🙏 発表後, 現地ではいくつかの質疑応答や会話, ディスカッションがありましてその中で最も印象に残った件がこちら. 何故Terraformを書いたのですか?シェルスクリプトでも良いのではないでしょうか? そうですよね, 単に個人開発（趣味）で作っているものでTerraformとGitHub ActionsでのCI/CD（この件は後日別に発表&ブログ書きます）まで頑張らなくても, shellでサクッとgcloudコマンド叩い

※この記事はChatアプリをPythonだけで作る記事です, Open AI（Chat GPT）等の生成AIそのものの記事では有りません. 漫才に憧れあるのでAIでどうにか（小声） いつかは野球AIと一緒に漫才風にLTをしたいと思っている人です, ネタじゃなくてマジです*1. shinyorke.hatenablog.com 以前Open AIでやるチャットアプリのバックエンドどうしよう?的な記事を書いたのですが, AIで何かをやるからにはバックエンドのAPIだけじゃどうしようもできない（そら、そうよ）. Open AIやGoogle CloudのAI（まだ使ったこと無いが）で何かやるんだったらチャットもしくは検索エンジン風のUIが無いと成立しない. まずやりたいのはお遊びで作って動かす（コンサル風に言うとPoC）程度なので本格的なUI（フロントエンド）を作るのはちょっと🤔 と思っていた

最初に言っておきます, 「野球」っていうワード以上に「エンジニアリング」なエントリーです*1. 野球方面の人は最初の雰囲気を読んで最後まで読むか判断してください, 「オオタニサン」っていうワードは出てこず「Go」「Pub/Sub」「コンテナ」とかそんなのばっかり出てきます🙏 という前置きはさておき, 最近はGoでモノを作るのが好きになってきており, 今はというと, PyCon JP 2022およびデブサミでお披露目した「野球データ基盤」の刷新をGoで少しずつやる. 野球データ基盤を構成するマイクロサービスのうち, Goでやったほうが効率良さそうなサービスをGoに書き換え. クラウドサービスは引き続きGoogle Cloud（これはマスト）だが, マイクロサービスのワークロードはCloud Runに統一*2, 可能なら「マルチコンテナ*3」を採用してサービスを一つに統一したい. といった事

※このエントリーは「OpenAIをいい感じに使うバックエンドをFastAPIで実装したぜ！」というエントリーです（サンプルコードはこちら）, 「OpenAIで何かを作った・人工知能を産んだ」訳では無いのでそっち方面を期待している方はそっ閉じしたほうが良いかもしれません（Web API開発に興味ある人はそのまま読んで）. 趣味は野球観戦と見せかけて, 「休日にダラダラ野球見ながら趣味のコードを書く」のが最も好きな人です. 100敗待ったなしの贔屓チームがいきなり7連勝したり*1, 昨年まで扇風機状態だった贔屓チームのフィジカルモンスターが突然覚醒して4番ライトに定着*2したりと理解が追いつかない野球を見るのはこれぐらい（コード書きながらみる）ぐらいがちょうどいいと思ってます, だってプレーオフ行けるか怪しいですもの*3. 時は遡り2020年, 私はセイバーメトリクスといくつかの機械学習の知見

セッション概要 「推しは推せる時に推せ」という俺のDXを実現するためのサーバレスなデータ基盤開発と運用 - 野球データを添えて 「個人的な野球データ分析基盤を作る」「いつの日か野球ファンにも使ってもらうサービスとして公開する」というモチベーションの元、「Google Cloud」「サーバレスアーキテクチャ」「野球データサイエンス（セイバーメトリクス）」といった自分の「推し技術」を駆使してプロトタイプを開発しました。こちらを元に「今いい感じなデータ関連のアーキテクチャ」「サーバレスアーキテクチャ・マイクロサービスの使い所」「野球データサイエンスの面白さ」が伝わるお話をデモを交えてご紹介します。 本事例はGoogle CloudおよびPythonですが、AWSやAzureといった他のPublic Cloud、プログラミング言語での展開を前提としたお話をします。 なお、当セッションはPyConJ

WBC2023侍JAPAN優勝で興奮している皆さんこんにちは*1. 野球知識と野球愛, エンジニアとしての技術力そして私の週末となけなしのお小遣いを犠牲にして野球ネタをお届けするブログ「Lean Baseball」のお時間がやってまいりました*2. 皆さんに伺いたい. 今年1月にこのブログで「ラーズ・ヌートバー」改め「たっちゃん」の特集記事を公開したことを覚えているだろうか? shinyorke.hatenablog.com きっと覚えている人は少ないであろう. この記事, 書いた私の自己評価および, このブログを愛読してくださっている一部のデータ好き・野球好き（&デブサミの発表を見て検索した?同僚に偶然ブログを発見された）からの評判は大変良かった*3ものの...大して読まれなかった. 理由は明確でGoogle先生曰く... 今日（2023/3/25）から過去90日間の「ヌートバー」トレン

Developers Summit 2023登壇資料 https://event.shoeisha.jp/devsumi/20230209/session/4196/

現職のコンサルっぽい仕事・インフラアーキなエンジニアな仕事も大好きですが, やっぱデータを見ると興奮するぐらいにデータ好きな人です. startpython.connpass.com 本日（2023/1/19）, ありがたいご縁がありまして, 「機械学習エンジニアが目指すキャリアパスとその実話」というお話をさせていただきました. 参加者の方々, ご清聴ありがとうございました&参加されていない方も気になるポイントあればぜひ御覧ください. 1/19の #stapy で「機械学習エンジニアが目指すキャリアパスとその実話」なるトークをすることになりました, 自画自賛ですが思ったよりいい内容に仕上がった気がします, 機械学習とかデータサイエンティストとかのキャリアでお悩みの方に届くと嬉しいです, 来てねhttps://t.co/KHxAXYY5mr pic.twitter.com/eguUyEnfb

このブログおよび, 登壇・アウトプットはゴリッゴリのエンジニア, 本職はコンサル企業のマネージャーとしてクラウドエンジニアリングのコンサルをやっている者です*1. この記事は, 当ブログの名物である, Pythonのオススメ書籍（と関連する技術書）の紹介エントリーです！ ※去年の記事はこちら. 本年のエントリーでは「今最もいい感じなPython本」の紹介に加えて, キャリアごとに読むべき技術書（と学び方）の選び方 この年末に読んで欲しい技術書（Python本とそれ以外） 「エンジニアのキャリア形成的に期待値の考え方大事だよ」という話 この三本立てでご紹介できればと思います. というわけで, 本年のラインナップは以下の通りです. 要約すると キャリアレベルを考える オススメ技術書籍2023 ジュニア🔰 メンバー マネジメント ボード 結び - キャリアごとの期待値 【番外編】私の推し書籍2

PyCon JP 2022 10/15 Talk Session Material # Reference https://shinyorke.hatenablog.com/entry/baseball-data-visualization-app https://shinyorke.hatenablog.com/entry/ohtani-san-pitch-2022

ドラフト会議前に一位指名を公言するのって何かのトレンドですか?って思ってる人です.*1 今年いや, 去年からずっと野球関連のリアルなトレンドは「何かしらのオオタニサン」で間違いないと思います. 打者として規定打席到達（わかる） ついでに2年連続30本塁打以上（まあわかる）*2 投手として15勝防御率2.33, キャリア初の規定投球回*3到達（ちょwww嘘やろwww） 一人の野球選手が（ガチで）二人分の成績（それもエースピッチャーと主軸打者を兼ねる）という驚きは改めて語るまでも無い話ではありますが, 投球回伸びてるし, （雰囲気的に）見ていて安心できる投球をしてるし何か変えてきたのでは！？ と思い, 改めて「投手・大谷翔平」のデータを見てみようと思いました&実際に試したのでどうぞご覧ください. なお, オオタニサンといえば二刀流, 打者の成績も気になるところですがこちらはシーズン中に可視化し

日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, （休んでいる間のリハビリがてら*1）PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤（ちなみにメジャーリーグです）を作っていたのですが, それがいい感じに完成しました. アプリとデータ基盤をどのように作ったのか どのような処理, どのようなユースケースで動かしているのか これらをどのようなアーキテクチャで実現したのか 以上の内容をこのエントリーに書き残したいと思います. なおこのエントリーは, PyCon JP 2022のトーク「Python使いのためのスポーツデータ解析のきほん - PySparkとメジャーリーグデータを添えて（2022/10/15 16:00-16:30）」の予告編でもあります. なので, 後日のトークをお楽しみに

*1 こんにちは、サーバーサイドエンジニアの @kimihiro_n です。 今回はSentryというエラー集約管理システムをGo言語で扱う場合の知見を共有したいと思います。 Sentry とは Sentryはエラーの集約管理を行うためのシステムで、作成したアプリケーション内で発生したエラーを一括で収集して見やすく管理することができます。 sentry.io 類似のエラーをグルーピングして発生頻度を確認したり、エラーの発生状況をSlackのようなチャットツールに通知してくれたりします。 予期しないエラーが発生したとき、生のログを見なくてもSlackやWebのUIで確認出来るのはとても便利です。 バックエンドからフロントエンドまで幅広い言語に対応しているためシステムのエラーを一括で集約が可能です。 JX通信社ではエラー管理ツールとしてSentryを広く利用しており100を超えるシステムが登録

サムネイルには特に意味はありません, 最近短めの夏休みをもらって札幌に帰っていました. それはさておき, このエントリーは当ブログ通算200本目の記事となります. 最近行った札幌の夜景です いつもブログを読んでくださっている方, 様々な角度・視点からフィードバック（ネガティブ・ポジティブ両方共にありがたいです感謝🙏）, 誠にありがとうございます！ あくまでも「全世界に公開していいメモ帳」というスタンスで書いている（おそらくこれから先もそう）ものが, 読んでいただけるだけでも嬉しいですし, 感想や「ためになりました」「助かりましたありがとうございます！」なんて言われるなんて思ってもいませんでした, このブログをはじめた8年前は. というわけで, 記念すべき200本目のこの記事は, 過去8年間, 199本のブログ記事の中から筆者である私が特にオススメしたい9本+αを紹介したいと思います. こ

今日のテーマ ※【2022/8/4更新】正式版がGAとなりました, ブログ記載の内容と異なる所がある可能性があるのでご注意ください&本番などで使っても大丈夫です！&別のブログも書いたのでその話も追加 仕事もプライベートもよくGoogle Cloud（GCP）を使っている人です. 最近はGoogle Cloudの資格取得, 頑張ってます*1. ちょっとしたSlack Botを作りたい ちょっとしたデータ収集クローラー（Webクローラー&スクレイピング）がほしい ちょっとした「CSVとかJSONのファイルをBigQueryに放り込む）簡単なETLがほしい なんて時に, Cloud FunctionsというGoogle Cloudのサーバレスな従量課金FaaS（Function as a Service）でシュッと関数作って運用しているのですが, つい最近そんなCloud Functionsの第

日米ともに突然の加藤球投高打低時代が戻ってきて今年の野球面白すぎでは?と思ってるマンです.*1 野球をテーマにした趣味プロジェクト・個人開発を始めてから実は10年が経とうとしているのですが, つい先日「これは最高傑作なのでは！？」っていうネタが完成し, Baseball Play Study mini（BPStudy）および, datatech-jp Casual Talks #2でお披露目させていただきました. BigQueryとPythonではじめるプロ野球選手の成績予測（もしくは成績占い） / Baseball Player Performance Prediction using BigQuery and Python - Speaker Deck どちらも反応は上々で（ちなみにdatatech-jpの方は短縮版で資料は公開していません*2）, 非常にポジティブな感想および, 私に

個人開発（趣味プロジェクト）でプロダクトを作りながら, 本職の仕事でソリューションアーキテクトっぽいことをしているマンです*1. 最近は個人開発のネタとして, プロ野球選手の成績予測プロジェクト ヘルスケア周りの自分専用プロダクト開発 この2本軸で週末エンジニアリングをしているのですが, これらの事をしているうちに, Webアプリケーション + 分析用のデータ基盤の最小セット, みたいなパターンが見えてきた クラウドにおけるサービスの選び方・スケール（=拡張）するときに気をつけるべき勘所 みたいなのがまとまってきました. せっかくなので, 言語化した上で再現性をもたせよう！という主旨でこのエントリーを書きたいと思います. なお, これだけは強く言っておきます. 参考にするのは自由です&真似ができるようなプラクティスではありますが, ベストプラクティスかどうかは（この記事を読んだ皆様の）状況

気がつけば仕事も趣味も「クラウドなインフラで何かやる人*1」になったマンです. 個人的なプロダクト開発・運用やデータサイエンスな作業はGoogle Cloudメインでやってる私*2ですが, （そんな事情もあって）そういえばAWSのサーバレスなサービスにあまり触れてないな🤔と思い, ちょっと試しに触ってみました*3. aws.amazon.com Google CloudのApp EngineおよびCloud Runと比較されることが多いApp Runnerを試してみたのでその結果をメモとして残したいと思います. なお, 「AWSとGoogle Cloudどっちがいい?」という話ではないのでその前提でお読みください（好きな方・目的に合う方を使うのがいいですよ！） 対象読者 Webアプリケーションを作る人かつ, PythonのFlaskやDjangoあたりでWebアプリ開発をしたことがある（