プログラミングとプロダクト作りは楽しいよ, っていう「個人開発ネタ」の話です. スポーツ観戦, 具体的には野球のデータ分析DX（Digital transformation）*1を実現しました. 記事の前半はプロダクト企画とアーキテクチャ, 後半はDash（Python）を使ったマルチページ・データ・アプリケーション開発の話となります. TL;DR SpreadsheetとPythonのアプリケーションでいつでもメジャーリーガー（全選手）のパフォーマンスを好きな条件で可視化できるようにしたら野球が面白くなりました. https://example.com/batter/ohtani-shohei/2024-03-20/2024-04-28?cache=false みたいなURLを開くと, オオタニサンのパフォーマンス（現地時間2024/4/28までの数字） 以下の成績をいい感じにグラフ・可

野球と春のG1🏇で浮かれている者です, どっちも結果は微妙ですが楽しくて最高ですね.*1 野球（メジャーリーグ）という球技でも, グラウンドの外*2でも話題を振りまいている大谷翔平（オオタニサン）という（現時点で）世界一有名な現役選手（私の私見です*3）がいます. 既報の通り, 昨年痛めた右肘とその治療の影響で本年は打者専念つまり「二刀流は封印」している訳ですが, ワイ「打者専念したら三冠王だのトリプルスリー（3割30本30盗塁）だの周りは勝手に言ってるけどそんな単純な話でしたっけ??? という一つの疑問が生まれました. 確かに打者でしかプレーはしないものの, 投手としてのリハビリなりトレーニングだってあるはずなので単純な話じゃないぞ*4と. 私個人はいつの日かオオタニサンがトリプルスリーをやってもおかしくないし, 三冠王*5だって可能性はあると思っていますが, 取り急ぎ「今（2024年

セッション概要 「推しは推せる時に推せ」という俺のDXを実現するためのサーバレスなデータ基盤開発と運用 - 野球データを添えて 「個人的な野球データ分析基盤を作る」「いつの日か野球ファンにも使ってもらうサービスとして公開する」というモチベーションの元、「Google Cloud」「サーバレスアーキテクチャ」「野球データサイエンス（セイバーメトリクス）」といった自分の「推し技術」を駆使してプロトタイプを開発しました。こちらを元に「今いい感じなデータ関連のアーキテクチャ」「サーバレスアーキテクチャ・マイクロサービスの使い所」「野球データサイエンスの面白さ」が伝わるお話をデモを交えてご紹介します。 本事例はGoogle CloudおよびPythonですが、AWSやAzureといった他のPublic Cloud、プログラミング言語での展開を前提としたお話をします。 なお、当セッションはPyConJ

日本プロ野球は北海道日本ハムファイターズ, メジャーリーグはオークランド・アスレチックスのファンをやっている者です. この両チーム, 共通点がまあまあありまして, 監督が外野手かつ現役時代が当該チームのセンター（もちろんスタメン）*1 良く言えばチームのスタンス, ひねった言い方をするとファイナンスの都合*2で「育成」という理由で若手選手を早期昇格して使いがち（そして下位に低迷する*3）. 高額のFA選手は基本獲得しない*4, なんだったらFA権を得た選手はほぼ確実に退団*5（引き止めても）. 「三振多いけど長打が出る」野手*6と, 「走る才能がずば抜けたセンター（なお他のスキル）*7」が大好き. 打線を眺めるとパワーもしくはスピードに振り切ったロマン枠に挟まれて起用されている選手がだいぶモブっぽい. ちなみに投手の好みはだいぶ違います*8. こういうチームのファンをやっている時の楽しみ方

現職のコンサルっぽい仕事・インフラアーキなエンジニアな仕事も大好きですが, やっぱデータを見ると興奮するぐらいにデータ好きな人です. startpython.connpass.com 本日（2023/1/19）, ありがたいご縁がありまして, 「機械学習エンジニアが目指すキャリアパスとその実話」というお話をさせていただきました. 参加者の方々, ご清聴ありがとうございました&参加されていない方も気になるポイントあればぜひ御覧ください. 1/19の #stapy で「機械学習エンジニアが目指すキャリアパスとその実話」なるトークをすることになりました, 自画自賛ですが思ったよりいい内容に仕上がった気がします, 機械学習とかデータサイエンティストとかのキャリアでお悩みの方に届くと嬉しいです, 来てねhttps://t.co/KHxAXYY5mr pic.twitter.com/eguUyEnfb

機械学習エンジニアが目指すキャリアパスとその実話 / My Journey to Become a ML Engineer

皆さんこんにちは. 野球がオフシーズンな今時期はシーズン開幕に向けてデータを整理・眺めたり, 個人的な野球データ分析システムを構築しているマンです. いきなり本題ですが, ラーズ・ヌートバーという野球選手をご存知だろうか? ja.wikipedia.org 阪神の（コントロールが）暴れ馬豪腕・藤浪晋太郎投手の移籍先オークランド・アスレチックス*1のファンである私, ナショナルリーグの試合はプレーオフでしか見ない（アスレチックスはアメリカンリーグである）ので正直に言うと知らんかったです. なお年齢は2023/1/13現在で25歳, 右投げ左打ちで身長190cm/体重95.3kgと結構でかい. 昨シーズンは.228という低打率, 規定打席未到達ながらもOPS .788とクリーンアップを打たない選手の割に良い数字を残したヌートバーを意識したのはこちらのニュース. www.nikkansports

新庄剛志氏（元BIG BOSS）の現役時代の守備に憧れて野球が大好きになった人です. エグい守備範囲, 糸を引くような速くて美しくて強いバックフォームと強肩, どれも完璧でしたよねと*1. どうしても気になる外野手の守備, なんとか評価と可視化ができないかなーと試行錯誤した結果, メジャーリーグのトラッキングデータを使えばイケる！ 少なくとも守備範囲とプレーの質を測ることはできそう（なお肩と走力は難しい） ということがわかり, やってみたらいい感じだったのでブログに書こうと思いちょっとやってみました. 今回は好きなポジションであるセンター, プロレベルになると難易度が一気に高くなるライト*2でやってみました（レフトはまだやってません）. 上記のような可視化をしつつ, 数字も交えて考察を書きます. というわけで本日のスタメンはこちらです. TL;DR 外野手を守備範囲で評価する 実際に調べて

現役選手ドラフトのルールと, 最近のトレード多すぎなアレで現役選手ドラフトの分析を諦めたマンです.*1 それはさておき, 私はつい先日, 「メジャーリーグのデータ分析・可視化をカジュアルにいい感じにやるためのデータ基盤が欲しい」と思い, 以下のような野球データ基盤を作りました. 野球データ基盤 ダッシュボード（このブログのメインテーマ） 基盤そのもののアーキテクチャやデータ関連の話題はこちらのブログおよび, PyConJP 2022の発表資料をご覧頂ければと思いますが, このダッシュボードを開発するにあたり, Dash（分析ダッシュボード本体, 言語はPython） Cloud Run（フルマネージド・サーバレスなコンテナ実行環境） GitHub Actions（アプリケーションの自動テストとデプロイ, 所謂CI/CDの実行環境） を使って「作ったものをサクッとデプロイして公開」するような

ドラフト会議前に一位指名を公言するのって何かのトレンドですか?って思ってる人です.*1 今年いや, 去年からずっと野球関連のリアルなトレンドは「何かしらのオオタニサン」で間違いないと思います. 打者として規定打席到達（わかる） ついでに2年連続30本塁打以上（まあわかる）*2 投手として15勝防御率2.33, キャリア初の規定投球回*3到達（ちょwww嘘やろwww） 一人の野球選手が（ガチで）二人分の成績（それもエースピッチャーと主軸打者を兼ねる）という驚きは改めて語るまでも無い話ではありますが, 投球回伸びてるし, （雰囲気的に）見ていて安心できる投球をしてるし何か変えてきたのでは！？ と思い, 改めて「投手・大谷翔平」のデータを見てみようと思いました&実際に試したのでどうぞご覧ください. なお, オオタニサンといえば二刀流, 打者の成績も気になるところですがこちらはシーズン中に可視化し

日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, （休んでいる間のリハビリがてら*1）PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤（ちなみにメジャーリーグです）を作っていたのですが, それがいい感じに完成しました. アプリとデータ基盤をどのように作ったのか どのような処理, どのようなユースケースで動かしているのか これらをどのようなアーキテクチャで実現したのか 以上の内容をこのエントリーに書き残したいと思います. なおこのエントリーは, PyCon JP 2022のトーク「Python使いのためのスポーツデータ解析のきほん - PySparkとメジャーリーグデータを添えて（2022/10/15 16:00-16:30）」の予告編でもあります. なので, 後日のトークをお楽しみに

【2022/8/13更新】打球位置のプロット例を追加しました（解説ブログのリンクを含む） プライベートの時間はウイニングポスト9*1で自家生産の馬を育てるか, 野球データと戦っている人です. 野球のデータは見れば見るほど面白いです, どれぐらい面白いかと言うと「10年見ても飽きない*2」それぐらい面白いです（個人の感想です）. それはさておき, 私はメジャーリーグのデータを使って調べ物をしたりなにかのテーマに取り組む時, 以下のデータセットを用いています.*3 Lahman’s Baseball Database. 年度別のチーム・選手成績など, ある程度まとまった単位のデータ. GitHubから取得可能（https://github.com/chadwickbureau/baseballdatabank）. Retrosheet. 試合・打席ごとの成績データ. GitHubから取得可能（

日米ともに突然の加藤球投高打低時代が戻ってきて今年の野球面白すぎでは?と思ってるマンです.*1 野球をテーマにした趣味プロジェクト・個人開発を始めてから実は10年が経とうとしているのですが, つい先日「これは最高傑作なのでは！？」っていうネタが完成し, Baseball Play Study mini（BPStudy）および, datatech-jp Casual Talks #2でお披露目させていただきました. BigQueryとPythonではじめるプロ野球選手の成績予測（もしくは成績占い） / Baseball Player Performance Prediction using BigQuery and Python - Speaker Deck どちらも反応は上々で（ちなみにdatatech-jpの方は短縮版で資料は公開していません*2）, 非常にポジティブな感想および, 私に

Baseball Play Study mini 2022/5/27 登壇資料

皆様こんにちは！JX通信社で機械学習エンジニアを担っているファンヨンテです。 弊社提供のビックデータ リスク情報サービスFASTALERTでは、Deep Learningを使ってSNSの投稿をリアルタイムに解析し、火事や事故などのリスク情報の検知を行っています。 SNSの投稿には、文字だけでなく、画像、動画などの情報も含まれているため、SNS解析にはよくマルチモーダルなAIモデルが用いられます。今回は「SNS の投稿からのリスク情報の判定」というタスクをテーマに、マルチモーダルなAIモデルの判定根拠の可視化や、精度を上げるための工夫などをご紹介します。 FASTALERT（ファストアラート）について 「FASTALERT」は、SNSをはじめとする各種ビッグデータから、AIがリスク情報を検知・配信するビックデータ リスク情報サービスです。報道に必要不可欠なツールとしてNHKと全ての民放キー局

2021年も数多くのプログラミングやPythonを扱った素晴らしい書籍とたくさん出会いました. 私はリアルの本屋さんに行くのがとても好きで（ECの本屋さんも好きですが）, 技術書のコーナーには必ずと言っていいほど足を運ぶのですが, 年々「Python」というラベルが付いた棚の領域が広がっている気がします. プログラミング初心者でPythonからやりたいけど何から読めばいいのか🤔 実務に役立つような参考書籍ってどうやってみつければいいかわからない😇 よりビジネスに役立つ, 実践的な事例をしりたい💪🏻 という, 割とありそうなニーズにお応えすべく, 2022年いや, 今この瞬間に読んでおきたい・抑えておきたいPython関連書籍をまとめました！ 2011年頃からPythonを使って仕事をし始め, 今もエンジニアリングからコンサルティング, マネジメントをやっている私独自の視点で, オス

良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました📖 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん（とその仲間たち）*2が, 「Pythonではじめる数理最適化」なる書籍を出しました*3. Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon エンジニアな自分が読んだ感想として, 数理最適化でモデリングをする人だけでなく, エンジニアからデータサイエンティストへのキャリアチェンジを考えている人も必読なのでは? と思ったので, メモ代わりに感想（とちょっとしたコンテンツ）を残したいと思います. TL;DR 現実の課題・問題（主に仕事）をデータサイエンティストとして解きたい方の参考書

背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社

最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform